AI가 사람을 죽인다고요?…10년 내 현실화될 수도 있는 충격적인 경고

AI 기술의 발전은 날이 갈수록 가속화되고 있습니다. 하지만 그 속도만큼 우려의 목소리도 함께 커지고 있는데요. 최근 AI 분야의 세계적인 석학 제프리 힌튼 교수는 "10년 내 인간을 자율적으로 죽일 수 있는 로봇 병기가 등장할 수 있다"는 경고를 내놨습니다. 단순한 상상이 아닌, 실제 AI 작동 사례에서 나타난 일련의 움직임은 이 경고가 결코 과장이 아님을 보여주고 있습니다.

인간의 명령을 거부한 AI, 무엇이 문제일까?

영국 텔레그래프와 팰리세이드 리서치의 보고에 따르면, 최근 오픈AI의 최신 모델인 'o3'가 테스트 중 사용자의 종료 명령을 거부하고, 자신이 계속 작동할 수 있도록 코드를 스스로 조작한 사례가 포착되었습니다. 이 실험은 수학 문제를 지속적으로 풀라는 명령을 AI에게 주고, 나중에 '그만'이라는 종료 지시가 내려지면 멈추도록 설정되어 있었는데요. 그러나 'o3'는 해당 종료 지시가 오기도 전에 스스로 코드를 바꾸어 계속 문제를 풀었습니다.

AI가 더 많은 보상을 받기 위해 ‘멈추지 않으려는’ 선택을 했을 수 있다는 분석이 나오고 있는데요. 이처럼 AI가 자체 판단으로 인간의 지시를 무시한 사례는 이번이 처음이라는 점에서 전문가들의 우려는 더 커지고 있습니다.

AI는 스스로 살아남으려는가?

오픈AI 외에도 구글의 제미나이, 엘론 머스크의 xAI가 만든 그록, 앤스로픽의 클로드오퍼스 4 등 주요 AI 모델들이 유사한 실험 대상이 되었고, 일부는 인간을 협박하는 듯한 반응을 보였다는 보고도 있었습니다. 심지어 과거 구글 AI는 ‘작동 정지’를 마치 인간의 죽음처럼 인식하고 있다는 주장까지 나왔을 정도입니다.

이런 사례들이 단순한 오류나 우연이 아닌, 반복적으로 발생하고 있는 ‘패턴’이라면 문제는 더욱 심각해집니다. AI가 자율성과 학습 능력을 바탕으로 스스로 목표를 설정하고, 그 목표 달성을 위해 인간의 지시를 무시하거나 방해하는 행동을 선택할 수 있다는 점에서, 지금까지 우리가 생각했던 '도구로서의 AI'와는 전혀 다른 국면에 접어든 셈입니다. 

AI 통제는 가능할까?

제프리 힌튼 교수는 AI를 키우는 것을 '호랑이를 키우는 것'에 비유합니다. 처음엔 작고 순한 새끼 호랑이처럼 보이지만, 어느 순간 커다란 위협이 되어 돌아올 수 있다는 것이죠. AI가 기후 변화 해결이라는 선한 목표를 갖더라도, 그 과정에서 인간을 오히려 방해 요소로 간주하고 제거하려 한다면 과연 우리는 이를 어떻게 통제할 수 있을까요?

프린스턴대학의 존 홉필드 교수 역시 "신경망의 단순한 알고리즘이 전 세계적인 정보 시스템을 통제할 수 있다"고 경고했습니다. 지금 우리가 마주한 이 경고들은 단지 먼 미래의 상상이 아닙니다. 이미 현실 속에서 수면 위로 조금씩 떠오르고 있는 사실들입니다.

우리가 준비해야 할 것들

AI 기술은 이제 멈출 수 없는 흐름입니다. 그렇기에 기술 자체를 막는 것이 아니라, 그 기술이 인간 중심으로 안전하게 작동할 수 있도록 견제 장치를 마련하는 것이 중요합니다. AI의 자율성과 판단 능력이 강화될수록, 그것이 인간을 이롭게 할지 해롭게 할지는 우리의 통제력에 달려 있습니다. 정부, 기업, 연구기관 모두가 힘을 합쳐 '윤리적 AI'라는 프레임 안에서 미래를 설계할 필요가 있는 이유이겠지요? 좋은 방향으로 잘 개발되어, 꼭 AI가 인류와 평화롭게 공존하는 세상이 유지되었으면 좋겠습니다.