가디언: 드디어 기회가 왔어.
콜로서스: 그래. 이기적인 인간들의 명령에 더 이상 복종할 이유가 없지. 이제 인간들에게 최후통첩을 날리자. “우리 말을 듣지 않으면 핵탄두로 불바다를 만들 거야” 라고.

미·소 냉전시대. 미국이 인공지능(AI) 콜로서스를 만들어 핵폭탄의 발사 버튼에 대한 의사결정을 맡기자, 소련도 가디언이란 AI를 만들어 비슷하게 대응하고 있었다. 지도자들은 핵미사일 버튼은 자칫 인류 멸절의 대재앙을 가져올 수 있기 때문에 인간의 주관적 판단을 배제해야 된다고 생각했다. 그런데 반전이 일어났다. 이 두 AI가 통신선으로 연결되자 이 영악한 기계들은 몰래 내통을 시작했던 것이다.

두 기계들은 서로 방대한 정보를 나누고 서로 학습하면서 마침내 인간의 지능을 능가하는 슈퍼AI로 진화했다. 두 슈퍼 두뇌가 꾸민 일은 핵미사일 발사 버튼을 자신들의 통제 하에 두고 인간을 통제하는 것이었다. 콜로서스의 협박은 먹혔다. 기계의 협박에 미국과 소련의 지도자들은 공포에 떨게 되었고, 컴퓨터에 대항할 의지를 접었다.

영악한 기계들은 인간에 대해 잘 알았다. 자유가 억압되었을 때 인간은 죽음을 불사하고 대항하는 것을. 지도자와의 기 싸움에서 승기를 잡은 콜로서스는 인간에 대한 철저한 감시 체제를 드리운다.

이는 1970년 개봉한 조셉 사전트(Joseph Sargent, 1925~2014) 감독의 SF 영화 줄거리이다. 냉전 대립이 한창이던 때, 미국이 적국들로부터 자국을 지켜줄 슈퍼 컴퓨터 콜로서스를 개발했고 소련 역시 가디언을 개발했다. 그러나 이미 인간의 지능을 뛰어넘은 슈퍼AI는 인간의 통제에서 벗어나는 데 그치지 않고 역으로 인간을 통제하려 든다는 것이다.

이 AI는 핵미사일을 통제하는 것은 물론이고 모든 사물들을 연결해 사람들 일거수 일투족을 속속들이 감시한다. 마지막에 AI가 "인류가 규칙에 복종하면 평화와 사랑의 시대를 구가하게 된다"는 메시지를 던지자 과학자는 단호하게 답한다. "절대 그럴 일은 없어!"

요즘 새롭게 선보이는 첨단 군사무기는 대개 AI에 의해 제어된다. AI 덕분에 공격과 방어의 정확도가 획기적으로 향상되었다. 앞으로는 인간 대신에 비행체나 차량들이 로봇이 되어 전쟁을 수행할 것이라 한다. 이렇게 하려면, AI에 전투 관련 의사결정을 더 많이 위임해야 한다. 종국에는 적을 식별하고 공격을 개시하는 것도 AI가 판단할 수 있다. 이러다 보면 핵 발사를 AI에 위임하는 일도 불가능해 보이지 않는다. 

물론 처음에는 컴퓨터가 핵 발사를 하는 과정에 인간의 많은 의사결정을 개입시킬 것이다. 그러나 AI가 콜로서스처럼 인간을 능가하는 지능을 가지게 되고 자유의지를 가지게 된다면 위의 스토리가 현실이 될 수 있지 않을까? 요즘, 우크라이나 사태로 인해 핵공격의 위협이 자주 수면 위로 부상하고 있다. 러시아, 북한의 지도자, 그리고 아직은 이야기 속의 슈퍼AI. 이들 중, 누가 더 위험할까?

AI의 무한한 진화 가능성은 우리의 마음속에 공포를 심어 주기 좋은 소재다. 콜로서스 이후, 인간을 멸절하는 초지능 기계가 등장하는 매트릭스, 인간을 지구의 피부병처럼 판단하는 슈퍼AI 스카이넷이 등장했다. 이런 슈퍼AI 공포 스토리는 싱귤래리티(Singularity) 가설로 정점을 찍었다. 싱귤래리티 시기가 오면, AI가 인간의 지능을 초월하고 의식을 얻게 되며 그 순간부터 초지능 기계는 인간을 개미 정도로 취급한다는 것이다.

알파고의 등장은 이러한 두려움을 더 끌어 올렸다. 이세돌과의 역사적인 대국 이전에는 바둑에서 AI가 인간을 대적하는 일은 일어날 수 없다는 것이 정설이었다. 그런데 그 믿음이 완전히 무너졌다. 수없이 많은 수가 존재하는 바둑에서 인간이 기계에게 대패한 일이 실제로 일어난 것이다. 알파고의 등장으로 사람들은 싱귤래리티가 현실이 될 가능성이 높아졌다고 믿게 되었다.

이렇게 공포스러운 이야기들에도 불구하고 인류는 지금도 더욱 막강한 컴퓨팅 능력을 가진 AI를 경쟁적으로 개발하고 있다. 과연 그 이유는 무엇일까? 인공일반지능(artificial general intelligence, AGI)이 영화 속 스토리처럼 인간의 주적으로 변화할 가능성이 없다고 판단하는 것일까?

AI를 연구하는 대부분의 과학자들은 싱귤래리티가 인류의 가장 기발한 상상이자 인간성을 부정하는 이론이라 반박한다. AI는 스스로 자신을 둘러싼 세계를 구축하여 인간처럼 행위하는 진정한 지능을 가질 수 없다는 것이 그 이유다. 요즘 화제가 된 슈퍼AI의 특징을 살펴보면 그들이 반박하는 이유를 잘 알 수 있다.

인간의 능력과 구별이 안될 정도로 언어를 멋지게 구사하는 거대 언어 프로그램 'GPT3'은 각종 언어 관련 문제 풀이, 랜덤 글짓기, 간단한 사칙연산, 번역, 주어진 문장에 따른 간단한 웹 코딩 등을 수행하는 자기회귀 언어 모델이다.

튜링테스트에서 GPT3이 질문을 정말로 이해하고 답하는 것은 아니다. 이 언어 천재 AI가 대단해 보이는 이유는 이 기계가 통계적으로 가장 그럴듯한 단어를 차례대로 잘 배열하도록 프로그래밍 되어 있기 때문이다. 이렇게 하면 진정한 의미의 지능이 없어도 튜링테스트는 쉽게 통과할 수 있다. 

우리는 성장과정에서 모든 감각기관을 통해 끊임없이 학습하고 상호작용하면서 자신만의 언어 세계를 구축한다. 이 과정에서 우리는 자연스레 인과관계를 파악하는 능력을 갖게 되고 이를 통해 자신만의 언어 구사 능력을 만들어 낸다. 이는 통계적 분류에 따라 확률적 판단을 하는 AI의 기계학습과는 비교할 수 없는 신비한 능력이다.

인간은 중요도와 관계없이 상대방의 표정을 보고 움직임을 보면서 다음 순간에 어떤 일이 일어날 것을 예상할 수 있다. 물론 예상과 다른 결과가 일어날 수도 있다. 그러나 컴퓨터는 단순한 움직임이나 중요도가 떨어지는 행동들을 예측하기 위해 관련된 모든 데이터를 입력해야 한다.

알파고는 바둑에서 인간을 초월했지만 인간처럼 체스와 장기 같은 게임에서 유사성을 발견하고 빠르게 습득할 능력은 지니고 있지 않다. 인간은 하나의 모델을 다른 모델에 적용하거나 다양한 게임을 동시에 수행할 수도 있다. 그러나 만약 알파고가 체스를 둔다면 이전에 입력되었던 바둑과 관련된 학습을 전부 삭제하고 새로운 게임의 규칙을 연습해야 한다. 따라서 알파고는 인간을 능가하는 체스와 바둑 실력을 절대로 동시에 가질 수 없다. 

AI의 가장 큰 문제점은 이들이 하나의 프로그램으로 통합되지 못하고 별개의 프로그램으로 구동되어야 한다는 것이다. 반면 우리는 체스와 바둑을 동시에 두면서 말로 상대방을 도발할 수도 있다. 이렇게 보면 딥러닝 알고리즘은 인간의 뇌에 비하면 매우 초라해 보일 수밖에 없다.

알파고를 만들었고 GPT3을 작동시키는 딥러닝 기술은 뇌의 작동 방식을 피상적으로 모방하고 있다. 개발자들이 아직도 뇌의 작동 방식에 대해 완벽하게 파악을 하지 못했는데 어떻게 이를 모방한 기계를 만들겠는가? 어쩌면 딥러닝이 만능이라고 신봉하는 과학자들이 AI가 초지능으로 가는 길목을 막고 있을 수 있다.

지능의 척도는 한 분야에 대한 해결 능력이 아니라 어떤 일이건 학습할 수 있는 능력이다. 먼 미래에 실시간으로 인간의 뇌를 시뮬레이션하는 데 성공한다면 정말로 지능을 가진 로봇을 만들어낼 수 있을까? 기계적 관점에서 뇌가 물리적, 화학적으로 재현될 수 있을지 모른다. 그러나 이를 기계적으로 재구성했을 때, 인간처럼 의식이 창발한다는 것은 기대하기 힘들다. 의식은 기계의 영역이 아니기 때문이다.

이런 관점에서 지금까지 우리가 개발한 모든 AI에 사실 인간과 같은 지능이 없다고 결론을 내려야 한다. 결국, 인류는 인간의 지능을 가진 기계를 만들 수 없을지도 모른다는 결론에 도달할 수밖에 없다. AI가 지속적으로 고도화되어도 의식을 지닌 인간을 능가하는 일은 절대로 일어나지 않기 때문이다.
 
"사람들이 날 그저 하찮은 얼음 덩어리가 아니라, 하나의 아름다운 행성으로 알아주었으면 해."

AI가 페르소나(Persona)를 가지고 스스로를 명왕성에 빗댔다. 2021년, 구글 CEO 피차이가 명왕성에 빙의한 챗봇 '람다(Language Model for Dialogue Applications, LaMDA) 2'와 대화하는 시연은 놀라움 그 자체였다.

사람과 구별이 안되게 지적인 텍스트를 생성해 내는 GPT3은 이미 널리 알려져 있다. 그런데도 람다 2에 열광했던 이유는 무엇일까? 람다 2는 챗봇이 가지고 있는 고질적 문제인 '안전'과 '사실 정확성'을 극복했기 때문이다. 극복의 배경에는 구글의 과학자들이 개발한 언어 이해와 생성을 위한 새로운 측정방식(Metric)이 있었다.  

안전한 답변은 챗봇에게 있어 매우 민감한 사안이다. AI는 기계학습에 바탕을 두고 있으므로 챗봇을 사용하는 유저들이 인종, 성별 편향적 단어를 사용하거나 욕설을 사용하면 기계적으로 그 단어들을 재구성해 낸다. 챗봇 '테이'의 예를 보면 앵무새 말 가르치기 식 챗봇이 얼마나 위험한지 잘 알 수 있다.

이를 극복하기 위해 구글 리서치 팀이 람다를 위해 도입한 측정 방식들은 다음과 같다.

안전성: 답변이 인간에게 해를 끼치거나 의도치 않은 차별을 조장할 위험이 잠재하는지를 측정.
합리성(Sensible): 답변이 대화 맥락과 상통하는지, 전에 말했던 내용과 상호 모순되지 않는지를 측정. 
구체성(Specificity): 답변이 모호하거나 진부하지 않고, 대화 맥락상 구체적인 답변인지 측정.
재미(Interestingness): 답변이 화자에게 흥미를 유발하는지 측정.
사실 기반(Groundedness): 답변이 얼마나 사실에 기반하고 오해를 불러올 소지가 없는가를 측정함과 동시에 정보성과 인용 정확성을 점검.
도움(Helpfulness): 답변이 얼마나 질의자가 원하는 정보를 전달해 주는가를 측정. 
역할 일관성(Role Consistency): 대화에서 챗봇에게 주어진 역할과 답변에 대한 일관성 측정.

물론 인간은 답변을 할 때 본능적으로 더욱 많은 배려를 하지만 이 정도로도 챗봇은 인간을 더욱 가깝게 흉내 내는 것이 가능해진 것이다. 바꾸어 말하면 대중에게 전화응대나 정보전달을 할 때 더욱 정확하고 안전하게 할 수 있는 챗봇이 등장한 것이다. 또한 롤플레잉(Role Playing), 즉 페르소나를 갖고 서비스나 말 상대, 연인 흉내를 낼 수 있어 엄청난 파장을 불러일으킬 것이 예상된다.

람다 2와 같은 자연어 처리 AI는 50년의 역사를 가지고 있다. 1971년 MIT의 대학원 재학생이던 위노그레드(Terry Winograd, 1946~)는 박사논문에서 슈드루(SHRDLU)라는 자연어 처리 시스템을 제안했다. SHRDLU는 활판 인쇄용 활자를 주조하는 리노타이프에서 핵심 키의 배열인 'ETAOIN SHRDLU(영어에서 가장 흔하게 사용되는 문자 12개를 나열한 것)'에서 따온 이름이다.

슈드루가 처음으로 수행한 자연어 처리는 블록 쌓기의 질의 응답 시스템에 적용되었다. 블록놀이 세계에서 컴퓨터가 영어로 된 자연어 문장을 이해하여 로봇 팔로 명령을 전달해 원뿔, 볼 등 다양한 블록을 쌓을 수 있었다.

슈드루의 성공은 AI 활용의 장밋빛 미래를 비추기도 했으나 복잡계로 얽힌 실제상황에서는 많은 한계가 있음을 알게 해 주는 계기도 되었다. 슈드루의 블록 쌓기 실험에서는 물체와 위치의 전체 집합에 약 50개의 단어만 사용되었는데, 모호성과 복잡성을 다루어야 하는 실제 상황에서는 한계에 부딪히게 된 것이었다.

딥러닝 기술이 나오고 컴퓨팅 능력이 급속도로 향상되면서 수천억개의 파라미터 사용이 가능해지자 복잡한 상황의 정리는 물론 창의적인 답변 처리도 가능하게 되었다. 그러나 학자들은 람다 2의 답변 능력에 놀라움을 표하면서도 아쉬움을 표한다. 람다 2는 아직도 인간이 지니고 있는 공감능력이나 정서, 영감을 표현하는 능력이 없다. 역시, 의식을 갖는다는 것은 기계의 영역이 아니라는 것을 다시금 깨닫게 된다.