p(doom)이란 무엇인가? AI 종말 확률 논쟁이 우리에게 던지는 질문

AI가 인류를 멸종시킬 확률이 10%라는 말, 어떻게 받아들여야 할까요? 터무니없는 공상과학처럼 들릴 수도 있지만, 이 말을 꺼낸 사람이 ‘AI의 대부’로 불리는 제프리 힌튼 교수라면 이야기가 달라집니다. 최근 AI 업계에서 p(doom)이라는 표현이 다시 주목받고 있습니다.

p(doom)이 뭔가요? 개념부터 짚어보기

p(doom)은 ‘Probability of Doom’의 줄임말입니다. 쉽게 말해, AI로 인해 인류가 멸종하거나 그에 준하는 파멸적 결과가 발생할 확률을 뜻합니다. ‘p’는 수학·통계에서 확률(probability)을 나타낼 때 쓰는 기호예요.

제프리 힌튼 교수는 최근 인터뷰에서 “앞으로 10년 안에 AI가 인류를 멸종시킬 확률이 10%라는 추정은 비합리적이지 않다”고 밝혔습니다. 단, 그는 “정확한 확률을 어떻게 계산해야 하는지는 아무도 모른다”는 단서도 함께 달았습니다. 즉, 10%라는 숫자 자체보다는 ‘무시할 수 없는 위험이 존재한다’는 경고의 의미로 읽어야 합니다.

왜 지금 다시 주목받고 있나?

p(doom) 논쟁은 어제오늘의 이야기가 아닙니다. AI 안전 연구 커뮤니티에서는 수년 전부터 이 개념을 논의해왔는데요. 최근 다시 부상한 이유는 두 가지입니다.

• 초지능(superintelligence) 논의의 가속화: GPT-4, 클로드 3 같은 대형 언어모델이 빠르게 발전하면서, ‘인간을 초월하는 AI’가 현실적인 타임라인 안에 들어오기 시작했습니다.
• AI 에이전트 통제 문제의 부각: 단순히 질문에 답하는 AI를 넘어, 스스로 판단하고 행동하는 ‘AI 에이전트’가 실용화되면서 제어 가능성에 대한 우려가 커졌습니다.

힌튼 교수처럼 수십 년간 AI를 연구해온 전문가가 공개적으로 위험을 경고한다는 사실 자체가, 이 논의를 단순한 SF 시나리오로 치부할 수 없게 만듭니다.

에디터 인사이트: 숫자보다 중요한 것

10%라는 수치에 집중하다 보면 정작 중요한 핵심을 놓치게 됩니다. 힌튼 교수 스스로도 이 확률을 ‘계산할 방법이 없다’고 했습니다. 그렇다면 p(doom) 논쟁의 진짜 가치는 무엇일까요?

위험이 ‘있다’는 가능성 자체를 진지하게 다루는 문화를 만드는 것입니다. 비행기 추락 확률이 매우 낮아도 우리가 안전벨트를 매고 정비를 철저히 하듯, AI 개발에도 같은 태도가 필요하다는 메시지입니다.

반대 시각도 있습니다. 일부 AI 연구자들은 p(doom) 논의가 실제적이고 당장의 AI 위험(편향, 허위정보, 일자리 대체 등)에서 관심을 분산시킨다고 비판합니다. 먼 미래의 종말론적 시나리오보다 지금 당장 해결해야 할 문제가 더 많다는 논리입니다. 이 균형 잡힌 시각, 한국 독자에게도 유효합니다.

한국 독자에게 어떤 의미인가?

국내에서도 AI 규제와 윤리 논의가 빠르게 진행 중입니다. 정부와 기업 모두 AI 활용에 적극적이지만, ‘어디까지 허용할 것인가’에 대한 사회적 합의는 아직 초기 단계입니다. p(doom) 논쟁은 다음과 같은 실질적인 질문을 우리에게 던집니다.

• AI 에이전트가 업무 결정을 대신할 때, 책임 소재는 어디에 있는가?
• 고위험 분야(의료, 금융, 법률)에서 AI 자동화의 한계는 어디까지 설정해야 하는가?
• 국내 AI 스타트업과 대기업은 안전 연구에 충분한 자원을 투자하고 있는가?

지금 바로 할 수 있는 것: AI 리터러시 높이기

거창한 종말론이 아니라, 일상 수준에서 AI를 더 현명하게 쓰는 습관이 출발점입니다.

• AI 출력물을 맹신하지 않기: 챗봇의 답변은 ‘정답’이 아니라 ‘참고 자료’로 취급하세요.
• 에이전트 기능 사용 시 범위 제한하기: AI가 이메일 발송, 결제, 파일 삭제 같은 행동을 자동으로 수행하도록 설정할 때는 반드시 승인 단계를 유지하세요.
• AI 안전 관련 뉴스 꾸준히 팔로우하기: OpenAI, Anthropic 등 주요 AI 기업의 안전 정책 업데이트를 주기적으로 확인하는 것이 도움이 됩니다.

자주 묻는 질문

p(doom) 수치는 어떻게 계산하나요?

현재로서는 객관적으로 계산할 공인된 방법이 없습니다. 각 연구자나 전문가가 자신의 판단과 시나리오 분석을 바탕으로 주관적으로 추정하는 방식입니다. 힌튼 교수 본인도 이를 인정했습니다.

p(doom)이 높다고 주장하는 사람들은 AI 개발을 멈추자는 건가요?

반드시 그렇지는 않습니다. 많은 AI 안전 연구자들은 개발을 멈추는 것이 아니라, 안전 연구와 개발이 병행되어야 한다는 입장입니다. 속도보다 방향이 중요하다는 메시지에 가깝습니다.

AI 에이전트와 일반 AI 챗봇은 어떻게 다른가요?

일반 챗봇은 질문에 답하는 데 그치지만, AI 에이전트는 목표를 받아 스스로 계획을 세우고 여러 단계의 행동을 실행합니다. 예를 들어 여행 일정을 짜는 것을 넘어 항공권을 직접 예약하는 식이죠. 이 자율성이 통제 문제의 핵심입니다.

AI가 가져올 미래는 우리가 지금 어떤 질문을 던지느냐에 달려 있습니다. p(doom) 논쟁은 그 질문을 미루지 말자는 촉구입니다. 여러분은 AI 발전 속도와 안전 연구, 어느 쪽에 더 무게를 두어야 한다고 생각하시나요? 댓글로 의견을 나눠주세요.

출처: AI타임스 – 전체기사