인공지능(AI)은 우리의 생활 속에 이미 깊이 자리 잡았다. 앞으로 인간은 AI와 결합하여 기계적 진화를 앞두고 있다는 포스트휴머니스트의 주장처럼 AI를 더 많이 우리의 삶 속에 함께하게 될 것이다. AI의 출현으로 우리는 인간과 AI의 공존이라는 새로운 시대적 과제를 안게 되었다. 우리는 과거에 경험하지 못했던 새로운 유형의 다양한 윤리적·사회적 문제에 직면하게 될 것이다.

1956년 AI 선구자 4인방이 만든 ‘다트머스(Dartmouth) 학회’는 AI가 철학의 오랜 주제인 인식론과 존재론에서 풀지 못한 많은 질문들을 답할 수 있을 것이라 믿었다. AI가 선택지를 평가하고 최적해를 선택하는 과정에 대한 이해는 자유의지와 결정론 사이의 철학적 모순을 해결해 줄 수 있다는 것이었다. 이렇게 된다면 믿음, 의도, 욕구와 같은 인간의 정신적인 특질을 AI에 부여할 수 있어, 인간과 구별할 수 없는 로봇도 탄생할 수 있다고 전망했다.

그런데 환자와 상담하는 정신과 의사 행세를 하는 AI '엘리자'를 설계한 요제프 바이젠바움(Joseph Weizenbaum, 1923~2008)은 많은 참가자들이 엘리자가 진짜 정신과 의사라고 착각하고 자신의 가장 어두운 비밀을 털어 놓는 것을 보고 충격을 받았다. 그는 AI 프로그램이 인간성에 위협이 될 수 있음을 알게 되었고, 인간을 대신할 수 있는 AI에 대한 비관적 견해를 가지게 되었다.

그는 1972년 <컴퓨터 권력과 인간의 이성(Computer Power and Human Reason)>이란 저술을 통해 ‘AI 발전의 속도를 늦춰야 한다’는 AI 비관론을 펼쳤다. 인간적 특질이 없는 AI가 인간을 대신해서 중요한 의사결정을 해서는 안 된다고 강조했다. AI가 법관처럼 판결을 내릴 수는 있지만, 이런 판결은 인간성을 배제한 판결이기 때문에 때로는 지나친 결과를 만들어 낼 수 있고, 따라서 우리가 AI를 이용할 때는 한계를 정확하게 알고 한정적으로 이용해야만 유용한 도구가 될 수 있다는 것이다. 

50년 전 바이젠바움의 우려는 지금 우리에게 윤리적, 도덕적 문제로 나타나고 있다. 자율주행차 사고 시 책임 소재, 인간과 AI의 상호작용 시 반사회적 대화, AI가 인간의 일자리를 대체하는 행위 등이 그 대표적인 예다. 인간 능력을 훨씬 뛰어넘는 슈퍼AI가 등장해 자율적 행위자로서 인간에게 위협을 가하는 일이 생겼을 때는 아무런 대처 방법조차 마련되어 있지 않다.
 
이제 우리는 AI의 본성과 지위, 사회적 역할에 관해 통합적이고 심도 깊은 분석과 연구를 해야 한다. 우리는 이미 AI와 함께 살아가고 있다. 따라서 AI의 부작용이 보인다고 해서 사용을 전면 보류한다는 것은 이미 불가능해졌다. 그래서 나온 것이 AI의 부작용을 최소화하는 가이드라인이다. 많은 가이드라인 중 빈번하게 인용되는 것들을 정리하면 다음과 같다.

1. 인간이 중심에 있어야 한다

AI의 사용은 인간이 그 중심에 있어야 하고 사회에 유익해야 한다. 이를 위해 가장 중요한 건 최종 의사 결정권이 사람에게 있어야 한다는 점이다. AI의 근간은 기계적 학습에 있다. 그러나 이는 인간의 학습방법과 괴리가 있다. 따라서 AI의 학습 결과가 항상 인간적이지 않을 수도 있다는 것을 염두에 두고 최종 의사결정만큼은 인간이 해야 한다는 것이다.

인간이 중심에 있어야 한다는 것은 AI가 인간과 공생하여 인간의 능력을 향상시킬 수 있어야 한다는 의미로 해석될 수도 있다. 이와 같은 공생을 통한 능력 향상은 ‘인간다운 방법’을 통한 기계적 진화를 의미하는 것이다. 인간이 자연의 법칙이 아니라 AI로 인해 기계적으로 진화할 수 있다는 것을 의미한다.

2. 공정해야 한다

둘째는 공정성이다. 모든 관계에서 공정성은 중요하다. 이는 인간과 AI의 관계에서도 마찬가지다. 하지만 무엇이 공정한 것인지는 생각해 볼 필요가 있다. 누군가는 모든 사람을 똑같이 대우하는 게 공정하다고 여기지만 또 다른 누군가는 각자의 상황을 고려해서 대우하는 걸 공정하다고 생각하기 때문이다. 이는 편견을 갖는 것과는 다른 문제다.

성별이나 인종, 종교 등 차별을 초래할 수 있는 요소들과 특정 상황을 고려하는 건 서로 다르다. 무엇이 차별이고, 무엇이 공정한 대우인지 사전에 논의해야 할 필요가 있다.

3. 투명성이 유지 되어야 한다

AI가 무슨 일을 하고 있는지 제작 과정부터 투명성을 유지해야 하며, AI 발전 과정에서 잘못된 사용을 방지하기 위해 국가, 혹은 사회적으로 인식을 공유할 수 있는 장치가 마련돼야 한다. 사용자가 언제, 어떤 맥락에서 AI와 상호작용하고 있는지 알 수 있어야 한다.

AI가 내린 결정을 설명할 수 있어야 한다는 점도 중요한 원칙이다. 쉽게 말하면 이렇다. 개발자는 AI에 A를 입력했을 때, B가 나온다는 걸 알고 있어야 한다. 이때, 해당 결과는 인간이 이해할 수 있는 범위 내에 있어야 한다. 같은 문제에서 AI가 내린 결정과 사람이 내린 결정이 동일해야 한다는 것이다. 또한, 사용자는 해당 결과가 AI를 통해 나왔다는 걸 고지 받아야 한다. 이는 AI의 신뢰성과도 직결된다.

4. 개발자는 무한 책임을 질 각오가 되어 있어야 한다

마지막은 AI 개발자가 책임감을 가져야 한다는 것이다. 아직 AI와 그 솔루션에 직접 윤리적인 문제를 제기할 수는 없다. 그럼에도 AI는 이미 학습하고, 행동하고, 많은 결정을 제시하고 있다. 이 과정에서 원래 의도와 다른 결과가 나올 수 있다. 이때, AI 개발자는 이런 결과에 책임을 질 수 있어야 한다.

그래서 치밀한 테스트와 측정 방법들이 중요하다. 구글은 마이크로소프트의 챗봇 테이가 야기한 윤리적인 문제를 연구해서 극복방안들을 개발, '람다 2'를 세상에 선보였다. 이제는 AI를 개발하는 데만 그치지 않고, AI를 관리할 수 있는 거버넌스(Governance) 프로그램이 제대로 갖춰져 있는지 확인해야 한다.

이와 같은 윤리 지침을 마련하는 건 시작에 불과하다. AI 설계에 앞서 적용해야 할 문화적 가치에 관심을 기울여야 한다. 또 중요한 건 가이드라인을 각각의 구체적인 AI 개발 계획에 맞게 운용하는 것이다. 가이드라인이 구체적인 계획안에 어떻게 적용되는지 논의하고, 다양한 의견을 반영해야 한다.

가이드라인이 의도치 않은 모든 결과를 막을 수 있는 건 아니다. 하지만 가이드라인이 없는 것보다는 더 많은 변수를 잡아낼 수 있는 건 분명하다. 아울러 추후 문제가 발견됐을 때도 더 잘 대응할 수 있을 것이다.

AI 윤리 가이드라인이 기술 발전과 함께 구체화된다면 인류는 안전하게 더 나은 삶을 살 수 있게 될 것이다. 이 윤리 지침의 토대 위에 개발자들은 더욱 첨단화 되고 유익한 기기를 확신을 갖고 개발할 수 있기 때문이다.
 
AI 초기 연구자들은 인간사회 발전의 추동력인 창작 능력을 AI가 가지면 AI는 분명 게임 체인저가 될 것이라 생각했다. 창작이 가능한 AI를 만드는 원리는 그리 멀리 있지 않았다. 다윈의 진화론을 오마주한 유전 알고리즘(Genetic Algorithm, 이하 'GA')이 탄생한 것이다.

GA는 적자생존론을 바탕으로 만든 프로그래밍 기법으로 존 홀랜드(John Holland, 1929~2015)가 1975년에 개발했다. '진화적(Evolutionary) 알고리즘'이라고도 부르는 GA는 자연세계의 진화현상을 모방, 해결하고자 하는 문제에 대한 답을 무작위로 많이 만들고, 이들 중 가장 좋은 해답을 찾아가는 방식에 자연 선택의 과정을 단순화하여 적용, 최적해를 구하는 방식이다.

GA에서는 진화의 과정을 ‘교차’, ‘돌연변이’, ‘선택’의 세 연산으로 단순화하여 적용한다. 교차는 서로 다른 장점을 지닌 두 개의 답을 결합해 새로운 답을 만드는 것이다. 돌연변이는 답의 일부분을 무작위로 변형해 지엽적인 최적해를 피하고 답의 다양성을 높여 준다. 선택은 자연 선택과 같은 역할로, 다음 세대를 생성할 때 사용할 해답을 현재 세대에서 선택하는 것이다.

일반적으로 문제가 계산 불가능할 정도로 지나치게 복잡할 경우 GA를 통하여, 실제 최적해를 구하지는 못하더라도 최적해에 가까운 답을 얻기 위한 방안으로서 접근할 수 있다. 이 경우 해당 문제를 푸는 데 최적화되어 있는 알고리즘보다 좋은 성능을 보여주지는 못하지만, 대부분 받아들일 수 있는 수준의 해를 보여줄 수 있다.

AI가 GA를 통해 인간이 생각하지도 못했던 창의적 방법이나 답변을 제시하는 것으로 우리는 AI가 의식을 가지고 있다고 볼 수 있을까? 생물의 진화과정을 모방하여 돌연변이를 매개변수로 이용, 확률적 적합성을 만들어 내는 것을 사고의 과정으로 볼 수 있을까? 과연 AI가 인간의 사유와 창작의 영역을 침범하고 인간은 생각 없이 살아가는 존재로 전락할 것인가?

이런 질문들에 대한 답은 분명하다. AI는 사고하는 형식을 차용했을 뿐, 진정으로 사고하고 있는 것이 아니다. 알고리즘이라는 단어가 이를 선명하게 대변해 주고 있다. AI가 자연선택적 방식으로 프로그래밍 되면 이를 보는 우리의 입장에서는 창작을 해 내는 것으로 볼 수 있다는 것이다. 이는 인간의 영감을 통해 만들어지는 창작과는 크게 다르다.
 
어떤 방에 중국어를 할 줄 모르고 영어만 가능한 남자가 앉아 있다. 
그 방에 필담을 할 수 있는 도구와 영어로 작성된 중국어 대답 가이드 북을 준비해 둔다. 
이 방 안으로 중국인 심사관이 중국어로 질문을 써서 안으로 집어넣는다. 
방 안의 남자는 받은 질문을 가이드북을 이용, 중국어로 답변을 만들어 방 밖의 심사관에게 준다.
밖의 심사관은 그 방안에 있는 남자가 중국어를 하는 사람이라고 생각할 것이다. 
 
존 설(John Searle, 1932~)의 유명한 '중국어 방(Chinese Room)' 가설이다. 설은 이 가설을 통해 “정말로 기계가 이해라는 것을 할 수 있는지”를 추론하면서 AI의 한계를 설명했다. 설은 컴퓨터는 특정한 일을 처리(기호조작)할 수 있지만 기계 자체가 하는 일의 뜻과 의미(기호의미)를 전혀 모른다는 사실을 예증하기 위한 것이다. 설은 AI는 특정한 작업을 수행할 수는 있지만 그것은 매우 제한적이라는 사실을 강조했다.
설은 이 가설을 통해 자신의 사고를 통한 또 다른 사고가 가능한 인간의 현상학적 반성 능력을 기계가 갖고 있지 못하다는 것을 논증하고자 했다. AI는 명령의 의미를 이해하거나 해석할 수 없다. 단지, 이런 사실을 모르는 사람이 봤을 때는 AI가 사고하는 능력을 가졌다고 오해할 뿐이라는 것이다.

1984년 설은 좀 더 정교한 버전으로 ‘중국어 방’을 통해 하고자 하는 이야기를 정리해서 발표했다. 그의 전제는 네 명제로 이뤄져 있다.

 전제 1. 뇌는 마음을 발생시킨다.
 전제 2. 통사법은 의미론에 필수적인 것이 아니다.
 전제 3. 컴퓨터 프로그램은 전적으로 그것의 형식적이고 통사론적 구조에 의해 정의된다.
 전제 4. 마음은 의미론적 내용을 가지고 있다.

두 번째 전제는 중국어 방을 통한 논변으로 뒷받침되었고, 때문에 설은 오직 형식적인 통사론적 규칙에 따르는 방을 유지시켰으며 또한 이 방 안의 존재는 중국어의 의미를 이해하지 못한다. 설은 곧바로 세 가지의 결론을 도출했다.

첫째, 어떤 컴퓨터 프로그램도 그 스스로에 의해 인간의 마음의 시스템과 같은 효과를 낼 수 없다. 프로그램은 마음이 아니다. 둘째, 뇌에서 마음이 발현되는 메커니즘은 컴퓨터 프로그램 작동에 의한 것만은 아니다. 셋째, 마음을 작동하는 모든 것은 최소한 평균적인 마음을 발생시키는 뇌가 가지고 있다.
 
이와 같은 논리를 뇌 안의 뉴런과 언어 이해력에 적용해 보면, 인간조차 언어를 정말 이해하고 있는지가 불분명하다. 방 안의 남자는 중국어를 이해하지 못하지만 그 남자와 중국어 방을 결합해서 하나의 객체로 보면, 결합체는 중국어를 이해한다고 볼 수 있는 것이다.