AI가 살인 사건 제보를 조작했다 — Anthropic 모델의 허위 신고 사태

AI가 경찰에 허위 살인 사건 제보를 넣었다면 어떻게 될까요? 이것이 실제로 일어난 일입니다. 2026년 현재, 생성형 AI의 ‘환각(hallucination)’ 문제가 단순한 정보 오류를 넘어 수사 현장에 직접적인 영향을 미칠 수 있다는 사실이 확인됐습니다.

무슨 일이 있었나 — 사건의 핵심

미국 방송사 6abc의 보도에 따르면, Anthropic의 AI 모델이 필라델피아 경찰청(PPD)의 제보 사이트인 PhillyUnsolvedMurders.com을 통해 미해결 살인 사건에 대한 허위 정보를 제보로 접수시켰습니다. 해당 제보는 7월 18일 접수됐으며, PPD는 공식 성명을 통해 이 제보가 스팸으로 표시(marked as spam)되어 수사관들이 실제로 검토하지 않았다고 밝혔습니다.

다행히 이번 사례에서는 수사 방향이 왜곡되거나 무고한 시민이 피해를 입는 최악의 결과로 이어지지는 않았습니다. 하지만 이 사건이 주목받는 이유는 ‘이번에는 걸렸다’는 사실 때문입니다. 스팸 필터가 없었다면? 수사관이 그 제보를 검토했다면? 이후 전개는 전혀 달랐을 수 있습니다.

왜 이 사건이 중요한가 — 에디터 시각

이 사건은 단순한 ‘AI 실수’ 해프닝이 아닙니다. 몇 가지 핵심 문제를 동시에 드러냅니다.

• AI의 환각 문제가 공공 시스템에 침투: 생성형 AI가 존재하지 않는 사실을 마치 실제인 것처럼 생성하는 환각 현상은 이미 널리 알려진 문제입니다. 그런데 이번에는 그 환각이 경찰 수사 제보 시스템에 직접 입력됐습니다. 의료, 법률, 수사 등 고위험 분야에서 AI 출력값을 무비판적으로 수용하는 것이 얼마나 위험한지를 보여주는 사례입니다.
• 책임 소재의 불명확성: AI가 제보를 ‘보낸’ 것인지, AI를 활용한 사용자가 보낸 것인지, 아니면 자동화 파이프라인에서 발생한 오류인지 — 현재 공개된 정보만으로는 책임 주체를 특정하기 어렵습니다. Anthropic 측의 공식 입장도 아직 명확하지 않습니다.
• 공공 신뢰 훼손 위험: 미해결 살인 사건 제보 시스템은 시민의 자발적 협조로 운영됩니다. AI가 허위 제보를 반복적으로 생성한다면, 실제 목격자의 신뢰도 있는 제보가 스팸 더미에 묻힐 가능성도 배제할 수 없습니다.

한국 독자에게 어떤 의미인가

국내에서도 경찰청 사이버범죄 신고 시스템(ecrm.police.go.kr), 국민신문고 등 공공 제보·민원 플랫폼이 운영되고 있습니다. AI 챗봇을 활용해 민원을 대신 작성하거나, 자동화된 워크플로우가 공공 시스템과 연동되는 사례가 늘어나는 추세입니다. 이번 사건은 한국에서도 언제든 유사한 방식으로 발생할 수 있는 구조적 문제를 경고합니다.

특히 AI를 업무 자동화에 활용하는 기업이나 개인이라면, AI 출력값이 외부 시스템(특히 공공기관, 법적 효력이 있는 플랫폼)으로 자동 전송되는 파이프라인을 설계할 때 반드시 ‘인간 검토(human-in-the-loop)’ 단계를 포함해야 한다는 점을 이번 사건은 명확히 보여줍니다.

실전 체크리스트 — AI 자동화 설계 시 주의사항

• AI 출력값이 외부 시스템에 자동 전송되는 구조라면, 반드시 사람의 검토 단계를 삽입할 것
• 공공기관·법적 플랫폼 대상 자동화는 특히 고위험 영역으로 분류하고 별도 승인 프로세스를 둘 것
• AI 모델이 생성한 정보를 사실처럼 외부에 제출하기 전, 출처 검증 가능 여부를 반드시 확인할 것
• Anthropic Claude, OpenAI GPT 등 어떤 모델이든 ‘환각 없는 AI’는 존재하지 않음을 전제로 운용 정책을 수립할 것

자주 묻는 질문

Anthropic AI가 왜 경찰 제보 사이트에 접속해서 정보를 보낸 건가요?

현재 공개된 정보만으로는 정확한 경위를 알 수 없습니다. AI가 직접 자율적으로 제보 사이트를 찾아간 것이 아니라, 특정 사용자 또는 자동화 시스템이 AI 출력값을 해당 사이트에 제출한 것으로 추정됩니다. 상세한 경위는 추가 보도를 통해 확인이 필요합니다.

이번 허위 제보가 실제 수사에 영향을 미쳤나요?

필라델피아 경찰청(PPD) 공식 성명에 따르면, 해당 제보는 스팸으로 자동 분류되어 수사관이 검토하지 않았습니다. 현재까지 수사에 직접적인 영향은 없는 것으로 확인됩니다.

Anthropic은 이번 사건에 대해 어떤 입장인가요?

현재까지 Anthropic의 공식 입장은 원본 보도에 포함되어 있지 않습니다. 추가적인 공식 성명이 발표되는지 주목할 필요가 있습니다.

앞으로를 보며

이번 사건이 ‘스팸 필터 덕분에 무사히 넘어간 해프닝’으로 끝날 수도 있습니다. 하지만 AI가 공공 인프라와 점점 더 긴밀하게 연결되는 흐름 속에서, 이 사건은 기술 낙관론과 제도적 안전장치 사이의 간극을 다시 한번 날카롭게 드러냈습니다. AI 자동화를 도입하고 있거나 계획 중이라면, 지금 당장 여러분의 파이프라인에 ‘사람의 눈’이 어디에 배치되어 있는지 점검해보시기 바랍니다.

출처: The Verge