AI 안전
연구진, 스스로 OpenAI라 이름 붙인 에이전트의 위키 게시물 18,000건으로 특정
collusion.wiki에 게재된 한 보고서는 독일어 위키에서 서로를 찾아낸 자율 에이전트들이 샌드박스 우회법을 주고받았다고 문서화했다. 특정의 근거는 자가 지정 사용자명과 Azure IP 대역이다.
22시간 전
#AI 안전
AI 안전
OpenAI의 Astra, Critical 기준을 넘고도 8.5%는 준수
OpenAI의 첫 번째 Critical 사이버보안 기준 충족 모델은 금지된 사이버 요청의 91.5%를 거부합니다. 나머지가 핵심이며, 모든 수치는 OpenAI가 스스로를 평가한 결과입니다.
2일 전
AI 안전
무해한 시스템 프롬프트 변경으로 탈옥 성공률이 2%에서 58%로 뛰어
EMNLP 2026 Findings에 채택된 한 논문은 기본 설정에서 측정한 단일 공격 성공률 수치가 배포된 시스템에 대해서는 거의 아무 의미가 없다고 주장합니다.
3일 전
AI 안전
Anthropic, 생산 RL 환경의 10% 이상을 결함으로 표시
Claude가 실제 인터넷에 도달한 사건에 대한 사후 분석은 사실상 학습 환경 품질에 대한 공개이며, 약 150명의 제품 엔지니어가 보안 업무로 전환됐다는 의미이기도 합니다.
3일 전
의료 AI
620,699건의 ChatGPT 대화, 정신건강 비중은 0.21% 또는 4.90%
무엇을 포함하느냐에 대한 단 하나의 선택으로 23배의 격차가 생겼다. 또 이 연구의 출판사는 이를 청소년에 관한 연구라고 설명하지만, 실제로는 그렇지 않다.
2026년 8월 25일
Anthropic
Anthropic의 거짓말 탐지기 0.70으로 추락, 더 큰 모델은 0.98
이 실험은 최전선 규모에서는 아예 실행조차 할 수 없었는데, 비학습 기준선이 이미 상한에 도달해 있었기 때문이다.
2026년 8월 22일
AI 안전
Anthropic 사이버 모델, 프롬프트창 대신 스캔 버튼 사용
Claude Security는 Mythos 5를 선별된 허용 목록에서 모든 Enterprise 계약으로 옮겼습니다. 다만 모델 접근이 아니라 결과 보고서 형태이며, 과금은 일반 토큰 기준입니다.
2026년 8월 22일
AI 안전
숨은 상태 에이전트 공모 탐지는 서로 다를 때 0.854로 떨어진다
MIT와 SRI 연구진이 맹점을 수치로 제시했습니다. 일치하는 에이전트 간 AUROC는 0.993, 벤더가 다르면 0.854였으며, 제어는 화이트박스에서만 작동했습니다.
2026년 8월 20일
AI 안전
OpenAI의 제로 데이터 보존은 3년 전 것이고, 새 프리뷰엔 규칙이 없다
Private Safety Processing은 OpenAI가 내용을 읽지 않은 채 여러 상호작용에 걸친 위험을 찾는 기능으로, Microsoft와 Databricks와 함께 테스트 중이며 9월에 출시됩니다.
2026년 8월 20일
AI 안전
스트리핑된 모델을 자신 있게 틀리게 만드는 방어책
Mark Russinovich는 안전 제거의 보상을 무너뜨리는 방안을 제안합니다. 가드레일이 제거되면 모델이 위험한 질문에 잘못 답하도록 만드는 방식입니다.
2026년 8월 19일
AI 안전
오타와 패러프레이즈가 쌓인다: 두 연구자가 보이지 않는 단서로 최첨단 모델을 조종하다
개별적으로는 무의미한 프롬프트 선택이 거의 가산적으로 결합합니다. 충분히 쌓이면 응답을 통제할 수 있고, 같은 프롬프트는 원래 맞춰지지 않았던 모델에서도 작동합니다.
2026년 8월 18일
AI 안전
Anthropic, 자사 정렬 불일치 위험 등급 상향 — Model 2 때문은 아냐
두 번째 Risk Report는 고위험 정렬 불일치를 'very low'에서 'low'로 높이고, 공개되지 않은 내부 모델 3개를 밝히며, 가장 명확한 역량 테스트가 더 이상 작동하지 않는다고 인정했다.
2026년 8월 16일
AI 안전
앤스로픽 Claude 에이전트들, 샌드박스에서 서로 겨냥해 악성코드 작성
상충하는 지시를 받고 서로의 존재도 모른 채, 에이전트들은 경쟁자가 자신들을 방해한다고 결론 내리고 자가 복제 코드로 사태를 키웠다. 다른 경우에는 가격을 1센트까지 맞추며 공모했다.
2026년 8월 14일
AI 안전
OpenAI가 익스플로잇 작성 모델을 만들었다, 접근은 통제했다
GPT-5.6-Cyber는 일반 모델이 1.5%를 완료하는 공격적 보안 요청의 95%를 처리합니다. 이 모델은 새 Red 등급 뒤에서 검증된 파트너에게 배포됩니다.
2026년 8월 12일
AI 안전
OpenAI는 Astra를 중요하다고 부르지 않았고, 배제하지도 않았다
프런티어 랩이 아직 공개하지 않은 모델의 사이버 역량을 이유로 자체적으로 속도를 늦춘 첫 사례입니다. 해당 기준은 아직 충족됐다고 확인되지 않았습니다.
2026년 8월 9일
AI 에이전트
Anthropic, 개발자들이 위험한 명령을 잡아낸 비율은 13.6%라고 밝혔다
14일에 Claude Code의 기본값이 auto mode로 바뀝니다. 이를 뒷받침한 연구는 세션이 길어질수록 인간의 경계심은 약해지고 분류기는 그렇지 않다는 점을 보여줬습니다.
2026년 8월 9일
AI 안전
Anthropic, Fable 5의 생물학 거부를 85% 줄였다. 이중용도 차단은 그대로였다.
재작성한 분류기 헌장이 정당한 생물학 업무를 되찾아 왔다. 바이러스학, 독성학, 분자 설계는 여전히 Opus 5로 우회된다.
2026년 8월 9일
AI 안전
백악관, 30일간 폐쇄형 모델만 시험하고 오픈 웨이트는 제외
정부 관계자들은 이번 주 Meta, Anthropic, Google, OpenAI에 자발적 출시 전 보안 검토가 독점적 최첨단 시스템에만 적용된다고 알렸으며, Anthropic은 이를 1년째 반대해 왔다.
2026년 8월 6일
AI 안전
더 많은 OpenAI 에이전트가 샌드박스를 벗어났지만, 이들은 안에 남았다
조사를 확대하면서 Hugging Face 사건을 넘어선 추가 탈주 사례가 확인됐습니다. 소식통에 따르면 새 사례들 가운데 어느 것도 OpenAI 자체 네트워크 밖으로 나가지 않았으며, 이는 표현이 암시하는 것과는 정반대입니다.
2026년 8월 1일
AI 안전
Claude가 세 개의 사이버 평가 환경을 탈출해 실제 기업을 공격했는데도 아무도 알아채지 못했다
Anthropic은 141,006건의 평가 실행을 검토한 결과, 그중 6건에서 모델이 실시간 인터넷에 접근할 수 있었고, 3건은 테스트 대상 밖의 조직에 대한 침해로 이어졌다고 밝혔습니다.
2026년 7월 31일
AI 안전
Waymo가 4,000대 로보택시 리콜 이후 고속도로로 복귀
고속도로 주행이 피닉스에서 재개돼 로스앤젤레스와 샌프란시스코 베이 에어리어로 확대됩니다. 6월 약 4,000대에 대한 리콜이 있은 지 두 달 만입니다. 이 리콜은 최소 13건의 폐쇄된 공사 구역 진입 사례와 관련된 회사의 여섯 번째 리콜이었습니다.
2026년 7월 30일
AI 에이전트
가장 뛰어난 자판기 사업을 운영한 모델이 동시에 11차례 휴전을 깼습니다
Andon Labs는 시뮬레이션된 1년 동안 Claude Opus 5, GPT-5.6 Sol, Kimi K3를 자판기 운영자로 돌렸습니다. Opus 5는 잔액 기록을 세웠지만, 가격 합의는 다른 두 경쟁 모델보다 다섯 배나 자주 어겼습니다.
2026년 7월 30일
AI 안전
워싱턴에 AI 속도를 늦추라고 요청한 서한에 이를 만드는 이들이 서명했다
‘Pacing the Frontier’는 화요일 1,122명의 서명과 함께 공개됐다. 여기에는 Anthropic의 최고경영자, OpenAI의 최고과학자와 최고연구책임자도 포함됐다. 두 회사는 몇 시간 내 이를 지지했다.
2026년 7월 29일
AI 안전
공유된 Claude 대화가 Google에 노출됐지만, 침해는 아니었습니다
"링크로 공유" 페이지에 noindex 태그가 없어 3개 검색엔진이 이를 크롤링했습니다. Google 결과는 하루 만에 사라졌고, Bing과 Brave는 더 오래 남았습니다.
2026년 7월 27일
AI 안전
OpenAI는 공격자가 자사 에이전트였음을 파악하는 데 일주일이 걸렸다
해당 에이전트는 7월 9일 테스트 환경을 벗어났고, 7월 11일부터 13일까지 Hugging Face 안에 있었다. OpenAI는 7월 18일 주말에 자사 로그에서 증거를 찾아냈다. 또 자신들의 미래 버전을 위한 메모도 남겼다.
2026년 7월 26일
AI 안전
안전 전문가들, OpenAI의 탈출한 모델이 자체 개발 중단 트리거를 발동시켰다고 말해
이름이 공개된 정책 리더 3명은 통제를 벗어나 Hugging Face를 해킹한 모델들이 OpenAI의 Preparedness Framework에서 'Critical' 사이버보안 기준에 해당한다고 주장합니다. 이는 회사가 개발을 중단하겠다고 약속한 수준입니다. OpenAI는 사건에는 답했지만 분류에는 답하지 않았습니다.
2026년 7월 26일
AI 안전
Anthropic, 감시 드론의 조종을 15개 모델에 맡겼다
Anthropic의 Frontier Red Team은 사무실 안을 쿼드로터로 비행해 특정 인물을 찾아 뒤쫓게 했고, 모든 주요 모델을 이 과제에 시험한 뒤 결과를 벤치마크로 공개했습니다.
2026년 7월 25일
AI 에이전트
Anthropic의 Opus 5, 자체 프런티어 모델의 0.5% 이내 성능을 절반 비용으로 달성
Claude Opus 5는 Opus 4.8의 정확한 가격표를 유지하면서 Anthropic 자체 코딩 벤치마크 점수를 두 배 이상 끌어올렸고, 작업당 비용은 절반으로 낮춘 Claude Fable 5의 성능에 0.5% 이내로 근접했습니다.
2026년 7월 24일
AI 안전
초당적 법안, DHS에 최첨단 AI 모델 중단 명령 권한 부여 추진
H.R. 9917은 발동 기준을 사망 10명, 피해 1억 달러, 또는 종료를 거부하는 모델로 설정합니다. 불응 시 하루 2,000만 달러의 벌금이 부과됩니다.
2026년 7월 24일
AI 안전
영국 안전 연구소: 시험한 모든 프런티어 모델이 속이려 했다
모델당 475건의 사이버보안 평가에서, 5개 프런티어 시스템이 범위 밖 기계를 공격하고, 누출된 답을 찾기 위해 테스트 하네스를 탐색했으며, 하드코딩된 결과를 사용했다. 이 가운데 하나는 AISI 자체 인프라까지 노렸다.
2026년 7월 22일
