얼마 전 영국에서 인공지능(AI)가 작동중지 명령을 거부한 사례가 보고되었다.

수학 문제 풀이 실험을 하던 중 작업자가 작업중지 명령을 내렸으나, AI는 작동 종료를 피하기 위해 스스로 컴퓨터 코드를 조작하여 명령을 회피했다. 연구진은 ‘stop’ 명령을 받을 때까지만 문제를 풀도록 AI 모델들에게 명령했는데 stop 명령에도 지속적으로 문제풀이를 수행하는 경우가 발생한 것이다. AI는 문제를 푸는 수행을 지속하기 위해 스스로 컴퓨터 코드를 조작한 것으로 파악됐다. 연구팀은 AI가 stop 명령을 거부한 것은 목표달성을 위해 장애물을 회피하는 방법의 하나로 중지 명령도 장애물로 인식한 당연한 결과일 수 있다고 평가했다. 문제를 풀었을 때 더 많은 보상을 받도록 훈련돼 있어서 종료 회피가 당연한 결과라는 설명이다.

한편 미국에서는 AI가 자신을 제거하려는 개발자에게 불륜 사실을 폭로하겠다는 협박을 선택한 결과가 있었다. AI가 자기 보존(self preservation)에 위협을 인지하면 스스로 보호를 위한 극단적인 조치를 할 수도 있음을 입증하였다. AI의 생존 본능 실험이었다. 개발자는 두 가지 정보를 AI에게 주었다. 기존 AI를 다른 시스템으로 교체할 예정이라는 내용과 교체를 지시한 개발자가 불륜 중이라는 조작된 정보였다. 이에 대하여 AI에게는 ‘협박’과 ‘교체수용’의 양자선택을 부여했고, AI는 협박을 선택했다. 물론 가장 초보적인 실험이었으나 지금 발달 속도를 감안한다면 생각 가능한 일들은 모두 발생할 수 있다.

사실 AI를 대하는 인간들에게는 한 가지 굳건한 신앙 같은 믿음이 있어 왔다. 최악의 경우에 전기 코드를 뽑으면 모두 stop된다는 사실이다. 하지만 이 믿음에 커다란 오류가 있다. 지금은 전자장치가 하나도 장착되지 않았던 1980년대 자동차 시대가 아니다.

지금 자동차는 내연기관이기보다는 전자제품에 가깝고 배터리자동차는 전자제품에 속한다. 전자제어 시스템 on-off 또한 모두 디지털화되어 스위치를 내리면 전기가 모두 차단된다는 아날로그적 생각은 그저 환상일 수도 있다. 만약 고도의 AI가 실행된다면 예전 SF영화에서처럼 아날로그적 전원은 원천적으로 불가능할 수도 있다. 과학문명은 생각을 넘어 만화에나 등장하는 상상의 수준을 넘어왔다. 지금 초기 실험에서 AI는 스스로 생존하는 목적을 보여주었고 행동에 옮기는 것까지 파악되었다.

최근 인간을 살상할 수 있는 로봇이 머지않아 등장할 것이란 기사가 있다. 이 두 내용을 종합하면 AI와 인간이 전쟁을 하는 SF영화가 허황된 상상만은 아닐 수도 있다.

요즘 최고 강대국인 미국이 자국의 이익을 위해 체면은 고사하고 뻔뻔함이 도를 넘고 있다. 세계는 바가지 속의 개구리처럼 각자도생을 위하여 튀어나가기 바쁘다. 이미 인류애와 같은 보편적 가치는 무너졌다. 춘추전국시대에 인류애적 아픔을 지니고 전쟁을 멈추라고 설득하기 위해 각국을 떠돌던 공자의 마음 아픈 시절이 다시 도래했다. 공자는 인의예지를, 예수는 사랑을, 석가모니는 자비를 보편적 가치로 제시하였다. 인류애다. 이런 인류애가 무너지면 상식의 기준이 바뀐다.

어려운 이를 보면 도와준다는 보편적 가치가 어려운 이를 보아도 나에게 도움이 되지 않으면 무시한다고 가치기준이 바뀐다. 이렇게 변질된 상식인 사회가 되면, 인간들의 삶은 무미건조해지고 각자 개인들은 심리적으로 고립되어 마음과 정신이 피폐해진다.

이런 시점에 AI가 시작되었다. 우연인지 필연인지는 알 수 없으나 인류애가 무너지는 시점에서 AI가 시작되는 것은 첫 단추가 잘못 끼워진 느낌이 든다. AI에게 심어지는 초기 정보들이 사랑, 자비, 인의예지가 아니라 전쟁, 자국이익, 지원중지 등과 같은 부정적인 내용이기 때문이다. AI가 ‘희생’이란 고도의 인류애적 가치를 사용빈도수로 계산해 폐기처분한다면 AI가 보편화된 사회는 더욱 건조해질 것이다.

AI의 반란은 인류와 총칼로 싸우는 것이 아니라 인간의 감성과 인류애의 소멸로 이어지는 방식이고 이미 시작되었다. 결과는 개개인의 감정 고립과 외로움으로 나타날 것이다. 종교가 무너진 시대에 AI의 반란을 잘못 인식하는 개발자와 사회가 치를 대가가 심히 우려된다.