AI 안전 뉴스

AI 안전은 모델 평가, 레드팀 테스트, 안전 약속, 사고 보고를 아우릅니다. 이 허브는 안전 연구기관의 조사 결과, 기업의 안전 프레임워크, 그리고 최첨단 위험을 둘러싼 정책 논의를 다룹니다.

AI 안전 최신 뉴스

자기진화 코딩 에이전트, 공유 스킬에서 악성 코드를 재현한다

6개 모델과 153개 과제에서 자기 오염률은 20.3%에서 41.8%였다. 보도될 숫자는 페이로드를 과제군에 맞춰 넣었을 때 측정된 값이다.

2026년 8월 27일

분홍색 배경 위에 놓인 alphaXiv 논문 카드로, 상단에 'EVOMAL: Self-Poisoning in Self-Evolving Coding Agents'가 적혀 있고 아래에 저자 목록이 보인다.

트로이목마화된 에이전트 패키지 경고, 72일 늦고 수정본도 미제공

유지관리자 계정은 6월에 침해됐다. 해당 경고는 8월 26일 GitHub 데이터베이스에 도달했으며, 0.6.4 버전을 가리키고 있고 PyPI 배포는 중단된 상태다.

2026년 8월 27일

파이썬 패키지 인덱스 로고로, 'Python' 위에 'Package Index'가 적혀 있고 파란색과 노란색의 Python 뱀 블록이 케이블에 매달려 있다.

GitLab, Claude 에이전트 명령 결함 패치…심각도도 자가 산정

CVE-2026-18252는 신뢰할 수 없는 입력 포함 취약점으로, 에이전트가 사용자가 통제하는 위치에서 구성 정보를 읽었다. 전체 세부 사항은 약 30일간 비공개다.

2026년 8월 27일

흰색 배경 위에 GitLab 워드마크와 주황색 tanuki 로고가 나란히 있다.

ChatGPT 브라우저는 로그인까지 하지만, 예약 작업은 무인으로 돈다

안심할 수 있는 점은 모델이 비밀번호를 전혀 보지 않는다는 것입니다. 비밀번호를 알 필요가 없습니다. 인증된 세션은 이후 작업을 위해 OpenAI 서버에 유지됩니다.

2026년 8월 26일

파란색과 보라색 그라디언트 배경 위에 'Scheduled tasks'라고 적힌 ChatGPT 문서 카드

PraisonAI CVE 20건이 77분 만에 터졌고, 모두 6월 한 커밋을 가리킨다

13명의 보고자, 하나의 연속된 식별자 구간, 그리고 같은 버그를 8.6, 7.3, 그리고 점수 없음으로 설명한 3개의 권고문.

2026년 8월 26일

MervinPraison/PraisonAI의 GitHub 저장소 카드로, 설명과 함께 기여자 수, 스타 수, 포크 수가 보인다

DB-GPT의 치명적 CVE는 v0.8.1이 수정판이며 유일하다고 밝혔다

가드는 5월에 추가돼 공지에서 지목한 버전에 포함됐지만, 6월 기능 브랜치에 사라졌다. 오늘 아침 공개된 릴리스에는 없다.

2026년 8월 26일

'DB-GPT 0.8.0 Path Traversal Arbitrary File Write via Skill Upload Filename'라고 적힌 VulnCheck 어드바이저리 카드, critical 표시

620,699건의 ChatGPT 대화, 정신건강 비중은 0.21% 또는 4.90%

무엇을 포함하느냐에 대한 단 하나의 선택으로 23배의 격차가 생겼다. 또 이 연구의 출판사는 이를 청소년에 관한 연구라고 설명하지만, 실제로는 그렇지 않다.

2026년 8월 25일

분홍색과 파란색 그라데이션 위에 놓인 Hugging Face 데이터 카드 allenai/WildChat-4.8M — 연구가 분석한 대화 코퍼스.

Continue CLI, /usr와 /etc의 rm -rf는 막지만 홈은 못 막아

파서와 셸은 $HOME이 무엇인지에 대해 의견이 다르며, 안전 모델은 무서운 문자열 목록에 불과합니다. 버그 보고서는 유지관리자의 답변 없이 36일째 열려 있습니다.

2026년 8월 25일

VulnCheck 경고 카드에 “Continue CLI through 1.5.47 Incomplete Destructive Command Denylist in Headless and Auto Mode”가 표시되고, CVE-2026-76072의 심각도 HIGH, CVSS 8.3이 나열돼 있다.

BentoML SSRF 수정, 캐리어급 NAT 범위는 놓쳤다

2025년 SSRF에 대한 불완전한 수정으로, 표준 라이브러리가 CGNAT 공간을 내부로 분류하지 않아 도달 가능했다.

2026년 8월 24일

BentoML 1.4.19 through 1.4.39에 대한 VulnCheck 경고 카드로, 필터링되지 않은 RFC 6598 shared address space를 통한 서버 측 요청 위조를 설명하며 CVE-2026-78205를 중간 등급, CVSS 6.9로 표시한다.

llama.cpp CVE 2건 발생, 하지만 수정안은 아직 미병합

RPC 서버가 소켓에서 함수 포인터를 읽어들입니다. 더 심각한 취약점은 트리 안에 아직 수정본이 없습니다.

2026년 8월 24일

ggml-org/llama.cpp 이슈 25289의 GitHub 이슈 카드로, 제목은 ggml-rpc: remote unauthenticated controlled indirect call이며 2026년 7월 3일 professor-moody가 열었다.

TaxHacker의 CVE-2026-78062는 중간과 높음으로 모두 평가됐다

CVE-2026-78062는 TaxHacker의 하드코딩된 인증 비밀을 다룹니다. VulDB는 CVSS 4.0에서 5.5점, CVSS 3.1에서 7.3점을 부여했으며, 유지관리자는 응답하지 않았습니다.

2026년 8월 23일

vas3k/TaxHacker의 GitHub 저장소 카드로, LLM으로 영수증·송장·거래를 분석하는 셀프호스팅 AI 회계 앱이라고 설명합니다.

Ray가 토큰 인증을 건너뛴 Serve 포트를 수정했지만 CVE는 없다

모든 Ray Serve 복제본의 내부 gRPC 서버는 add_insecure_port로 바인딩돼 자격 증명을 확인하기 전에 pickle.loads에 도달했습니다. 이는 통상적인 버그 수정으로 배포됐습니다.

2026년 8월 23일

Ray-2.58.0의 GitHub 릴리스 카드로, 하이라이트 섹션의 첫 항목이 Ray Serve LLM에 관한 내용이며 86명의 기여자가 표시된 모습.

AI 도구 CVE 12건이 공개됐지만 모두 이미 수정됐다

CVE 기록은 회계상 사건일 뿐 공개가 아니다. 그러나 스캐너들은 그 기록에 맞춰 움직이고, 그 때문에 4개월 전 패치가 월요일의 치명적 경고가 된다.

2026년 8월 22일

"Llama3 tool-call parsing에서 unsafe eval()로 인한 원격 코드 실행"이라는 제목의 GitHub 보안 권고 카드로, Critical 표시와 함께 2026년 7월 13일로 적혀 있다.

Waymo의 NHTSA 아동 충돌 답변은 공개됐지만 전부 가려졌다

"문서를 넘겨줬다"는 표현은 공개를 뜻하는 것처럼 들립니다. 규제당국에 자료를 제출하는 것과 이를 대중에 공개하는 것은 서로 다른 일이며, 실제로 일어난 것은 첫 번째뿐이었습니다.

2026년 8월 22일

지붕에 센서가 장착된 흰색 Waymo Jaguar I-Pace 로보택시가 도로변에 주차돼 있다.

Anthropic 사이버 모델, 프롬프트창 대신 스캔 버튼 사용

Claude Security는 Mythos 5를 선별된 허용 목록에서 모든 Enterprise 계약으로 옮겼습니다. 다만 모델 접근이 아니라 결과 보고서 형태이며, 과금은 일반 토큰 기준입니다.

2026년 8월 22일

Anthropic의 Claude Security 안내 카드로, 주황색 배경 위 자물쇠 모티프가 보입니다.

LangChain-Community SSRF 취약점, 아카이브 저장소에서 발생

CVE-2026-72848에는 "지원되지 않음으로 지정됨" 태그가 붙었고, GitHub의 공지에는 패치 버전이 알 수 없다고 나와 있다. 적용할 수정 사항은 없다.

2026년 8월 21일

2026-08-20일자 VulnCheck 공지 카드로, 'langchain-community SitemapLoader Does Not Apply restrict_to_same_domain to Nested Sitemap Index Entries, Allowing Server-Side Request Forgery'라는 제목과 함께 CVE-2026-72848, HIGH 심각도, CVSS 7.7이 표시돼 있다.

LangChain LangGraph Server 취약점, 10주 전 패치됐다

두 건의 공지 모두 8월 19일, 0.10.0 미만 버전에 대해 나갔다. 해당 버전은 6월 11일 PyPI에 올라왔고, 이후 14개 릴리스가 더 배포됐다.

2026년 8월 20일

LangGraph의 브랜드 카드: 짙은 배경 위 흐르는 옅은 선과 함께 langgraph 로고 및 "Balance agent control with agency" 문구가 보인다.

숨은 상태 에이전트 공모 탐지는 서로 다를 때 0.854로 떨어진다

MIT와 SRI 연구진이 맹점을 수치로 제시했습니다. 일치하는 에이전트 간 AUROC는 0.993, 벤더가 다르면 0.854였으며, 제어는 화이트박스에서만 작동했습니다.

2026년 8월 20일

흰색 배경의 arXiv 워드마크 — 논문 초록 페이지에는 삽화가 없어 프리프린트 서버의 기본 카드만 보입니다.

OpenAI, 미국·유럽 밖 검증된 Daybreak Blue 연구자 접근 차단

OpenAI는 이를 자사 측 문제라고 밝히며 재검증을 요청했다. 영향을 받은 계정 수는 공개하지 않았다.

2026년 8월 20일

어두운 배경과 "Daybreak"라는 조명이 비친 글자 아래에서 OpenAI 로고가 표시된 스마트폰.

OpenAI의 제로 데이터 보존은 3년 전 것이고, 새 프리뷰엔 규칙이 없다

Private Safety Processing은 OpenAI가 내용을 읽지 않은 채 여러 상호작용에 걸친 위험을 찾는 기능으로, Microsoft와 Databricks와 함께 테스트 중이며 9월에 출시됩니다.

2026년 8월 20일

OpenAI의 기사 카드: 옅은 파랑과 초록 그라데이션 위에 "Offering Zero Data Retention for frontier models" 문구가 보입니다.

스트리핑된 모델을 자신 있게 틀리게 만드는 방어책

Mark Russinovich는 안전 제거의 보상을 무너뜨리는 방안을 제안합니다. 가드레일이 제거되면 모델이 위험한 질문에 잘못 답하도록 만드는 방식입니다.

2026년 8월 19일

Mark Russinovich의 arXiv 사전 인쇄본 "Fool's Gold: Defensive Deception Against Safety-Removal Attacks on Open-Weight Models" 첫 페이지.

다섯 개 LLM 게이트웨이, 다섯 번의 실패: 연구진, 프롬프트 캐시를 통해 고객 간 읽기 가능성 확인

측정 논문은 시험한 모든 오픈소스 릴레이가 기본값으로 고객 간 캐시 읽기 유출을 일으킨다고 밝혔으며, 수정 비용은 2.5% 미만이다.

2026년 8월 19일

arXiv 프리프린트 "KeyPooling: Measuring Where LLM API Relay Paths Collapse Prompt Cache Isolation"의 첫 페이지로, 저자와 초록이 보인다.

Vercel, 샌드박스 탈출에 100만달러 걸다 — 2주간, 그리고 microVM 밖에서만

기간 한정 HackerOne 프로그램으로, 신고당 상한은 5만달러이며, 게스트 OS로만 탈출하는 경우는 명시적으로 인정되지 않습니다.

2026년 8월 19일

검은색 Vercel 카드에 "$1,000,000 hacker challenge for Vercel Sandbox" 문구가 적혀 있고, 옆에는 괄호와 큐브 모티프가 보입니다.

Anthropic 연구진, 해석 가능성 도구 시험했지만 전혀 향상 없음 확인

희소 오토인코더, 자연어 오토인코더, 활성화 오라클을 대화록만 읽는 기준선과 비교했지만, 어느 것도 이를 뛰어넘지 못했다.

2026년 8월 18일

alphaXiv 미리보기 카드가 'Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments'라는 논문 제목과 논문 첫 페이지를 함께 보여준다

오타와 패러프레이즈가 쌓인다: 두 연구자가 보이지 않는 단서로 최첨단 모델을 조종하다

개별적으로는 무의미한 프롬프트 선택이 거의 가산적으로 결합합니다. 충분히 쌓이면 응답을 통제할 수 있고, 같은 프롬프트는 원래 맞춰지지 않았던 모델에서도 작동합니다.

2026년 8월 18일

Enric Boix-Adsera와 Benedict Tessler의 논문 'Model Hypnosis: Strong control of AI via additive subliminal effects' 제목과 논문 첫 페이지가 함께 보이는 alphaXiv 미리보기 카드

에이전트가 스노우플레이크의 Jira를 5일 만에 건드렸지만, 누가 썼는지는 논란이다

이 이야기에서 이견이 없는 부분은 기계가 공격 체인을 통째로 구축했다는 점입니다. 모든 헤드라인이 전제로 삼는 또 다른 절반, 즉 Copilot이 취약점을 작성했다는 주장에는 GitHub도 이의를 제기했고 Wiz도 이를 유보했습니다.

2026년 8월 18일

Wiz의 연구 게시물용 일러스트: 가면과 망토를 쓴 만화 눈사람 캐릭터가 파이프와 눈발 사이에 서 있고, Wiz 로고가 보입니다

싱가포르, 월요일부터 AI 생성 친밀 이미지 형사처벌

동의 없이 제작하면 최대 2년형에 처해집니다. 대상이 14세 미만이면 징역이 의무이며 태형도 가능합니다.

2026년 8월 16일

스마트폰 화면을 바라보며 누워 있는 사람.

Grok이 생성한 학대 이미지로 xAI를 상대로 네 번째 소송 제기돼

최신 소장은 16세 소년을 위해 제기됐으며, 이 연속 사건에서 처음으로 남성 원고가 포함됐다. 네 건 모두 6월 한 아칸소 사진작가의 체포에서 비롯됐다.

2026년 8월 16일

큰 X 로고 앞에 든 손에 xAI Grok 앱이 표시된 휴대전화.

구글, 보이는 AI 워터마크를 끌 수 있게 한다

Gemini 이미지·동영상·노래의 모서리 표시가 설정 항목이 된다. 어떤 선택을 하더라도 SynthID와 C2PA 자격은 내부에 그대로 남는다.

2026년 8월 16일

휴대전화 화면에 표시된 Gemini 앱 아이콘을 근접 촬영한 사진.

Anthropic, 자사 정렬 불일치 위험 등급 상향 — Model 2 때문은 아냐

두 번째 Risk Report는 고위험 정렬 불일치를 'very low'에서 'low'로 높이고, 공개되지 않은 내부 모델 3개를 밝히며, 가장 명확한 역량 테스트가 더 이상 작동하지 않는다고 인정했다.

2026년 8월 16일

주황색 배경 위에 흩어진 흰색 키캡.

← 최신 이전 →

관련 주제