20세 여성 인공지능(AI) 챗봇 '이루다' 서비스가 정식 운영 20일만에 중단됐다. 지난달 23일 공식 출시 후 며칠만에 이용자의 AI 대상 성희롱, AI의 혐오·차별 발언, 개발사 스캐터랩의 이용자 개인정보 오·남용 및 유출 시비 등 논란을 빚은 뒤다.

12일 스캐터랩은 "이루다 서비스는 오늘 저녁 6시부터 완전 중단된다"며 "현재 제기된 문제와 기존에 계획했던 개선사항을 완비할 때까지 개선에 집중하겠다"고 밝혔다. 이루다 서비스 중단은 지난 11일 밤 공식입장 발표를 통해 예고됐다.

이루다의 AI 모델 학습에는 스캐터랩이 먼저 출시한 연인 간 카카오톡 대화 분석 앱 '연애의 과학'에 이용자들이 제출한 채팅 데이터가 활용됐다. 이용자들은 이를 사후에 인지하면서 동의한 적이 없다고 문제를 제기했지만, 회사측은 이용자들이 사전 동의한 '개인정보취급방침' 범위 내에서 활용돼 개인정보보호법 위반 소지는 없다는 입장이다.

익명의 전직 스캐터랩 직원 제보를 근거로 한 일부 보도에선 이용자들의 대화 내용을 스캐터랩 직원들이 사내 대화방에 공유해 돌려봤다는 주장이 나왔다. 회사측은 자체 진상조사위원회를 구성해 조사를 진행하고 있으며 문제 행위가 확인되면 상응한 조치를 취하고 조사결과를 발표하겠다고 밝혔다.

위 두 사안에는 개인정보보호법과 정보통신망법상의 이용자 정보보호 조치에 대한 개인정보처리자 및 서비스제공자로서의 의무 위반 여부가 걸려 있다. 개인정보보호위원회와 한국인터넷진흥원(KISA)이 실제 법 위반 여부를 조사할 방침이다.

이와 더불어 이루다의 AI가 일부 이용자들과 나눈 대화 내용 가운데 개인정보 유출로 지목된 실명 언급, 이루다에 대한 심각한 성희롱 등 성적 대상화에 동조하는 모습, 소수자에 대한 혐오·차별 표현하는 사례 등이 제기돼 논란을 일으켰다.

스캐터랩은 이루다의 AI 모델에 1차로 개인정보를 삭제한 데이터를 학습시키고, 2차로 답변을 위해 사용하는 문장 데이터베이스(DB)에도 비식별조치를 진행해 문제를 예방했다고 밝혔다. 개인정보 유출은 인정하지 않았지만 미처 삭제되지 않은 특정인의 실명이 언급된 점에 대해서는 사과했다.

이루다가 이용자의 성희롱에 대응하는 방식이나 소수자에 대한 혐오·차별 표현을 하는 사례에 대해서도 회사측이 서비스 출시 전부터 문제를 예상하고 일정부분 대비했지만 미흡한 점이 있었다고 인정했다. 현실적으로 AI 특성상 기계적인 키워드 필터링을 병용했지만, 학습을 통한 보정을 추구하는 것이 장기적으로 적절하다는 관점을 제시했다.

스캐터랩은 이루다 서비스 중단을 공식화하면서 이제까지 논란이 된 주요 사안에 대해 문답 형식의 해명자료를 배포했다. 이용자들에게 "여러분들이 공유해주시는 이루다와의 따뜻한 대화에서 저희는 AI가 정말로 사람에게 친구가 되어줄 수 있겠다는 희망을 봤다"며 "비록 짧은 기간이었지만, 이루다에게도 여러분에게도 행복한 시간이었기를 바란다"고 밝혔다.

회사측이 내놓은 추가 설명을 아래 일문일답으로 재구성했다.

Q. 이루다 서비스 중단 시점은 언제이며, 얼마만큼의 중단 기간을 가지는지?

"오늘(12일) 오전 11시부터 순차적으로 중단한다. 오후 6시까지 전면 중단 완료한다. 현재 제기되고 있는 문제점과 기존 계획한 개선사항이 완비될 때까지 서비스 운영을 중단한다."

Q. '연애의 과학' 데이터를 기반으로 이루다가 학습한 것이 맞나?

"이루다 AI는 '핑퐁'의 DB를 통해 프리트레이닝(pre-training·사전학습) 단계를 거쳤다. 이 단계에는 연애의 과학 텍스트 데이터를 기반으로 학습이 진행됐다. 이 때 사용되는 데이터는 발화자의 이름 등 개인 정보가 삭제된 상태다. 발화자의 정보는 성별·나이만 인식 가능하다. AI는 프리트레이닝 단계에서 사람 간 대화 속에 존재하는 맥락과 답변의 상관관계만 학습하게 된다. 이 때 데이터는 외부로 노출되지 않는다.

연애의 과학 사용자 데이터는 사용자의 사전 동의가 이루어진 '개인정보취급방침'의 범위 내에서 활용됐다. 연애의 과학 사용자분들 중 AI 학습에 데이터가 활용되기 원치 않으시는 분들은 DB 삭제와 함께 앞으로 이루다의 DB에 활용되지 않도록 추가 조치를 진행할 예정이다."

Q. 이루다의 답변 내용을 통한 개인정보 유출 우려가 제기됐는데

"이루다는 회원 정보와 연계되지 않은 별도의 DB에 수록된 문장에서 적절한 답변을 선택해 응답한다. 해당 DB에는 1억개의 문장이 개별적이고 독립적인 형태로 저장돼 있다. 이루다는 AI 알고리즘에 따라 가장 적절하다고 판단하는 문장을 선택하여 답변하도록 설계돼 있다. 이루다의 답변 내용을 조합해 개인을 특정할 수는 없다."

Q. 개인정보보호를 위해 어떻게 조치해 왔나?

"개별 문장 단위의 대화 내용에서는 알고리즘에 의해 비식별화 조치를 했다. 숫자와 영문, 실명 정보 등은 기계적인 필터링을 거쳐 삭제했다. 이루다의 최초 출시 당시부터 모두 삭제된 상태였다."

Q. 비식별화 조치 방식을 더 구체적으로 설명해 달라.

"숫자와 영문이 포함된 메시지, 즉 주소, 계좌번호, 전화번호 등 개인정보가 포함될 수 있는 메시지를 제거했다. 또 특정 단어가 실명인지 판단하는 알고리즘을 이용해 실명이 들어갔다고 판단되는 문장도 모두 삭제했다. 내부 테스트 및 베타테스트를 통해 발견된 실명을 리스트로 관리해, 해당 실명이 들어간 문장을 모두 삭제했다."

Q. 특정 인물의 이름이 등장한 사례가 있다고 하는데?

"이같은 조치에도 대화 내용 중 은행이름이나 인물이름이 등장한다는 지적이 있었다. 1억건의 개별 문장을 사람이 일일이 검수하기는 어렵기 때문에 알고리즘을 통한 기계적인 필터링을 거쳤고 이 과정에 되도록 많은 변수를 주려고 노력했으나, 문맥에 따라 인물의 이름이 남아 있다거나 하는 부분들이 발생했다.

해당 사항에 대해 더욱 세심히 주의를 기울이지 못하고, 인물 이름이 등장하게 된 점 사과드린다. 다만 문장 내의 이름 정보가 다른 정보와 결합돼 이용되지 않는다는 점을 말씀드린다. 서비스 출시 이후 민감할 수 있다고 판단되는 부분들을 발견 즉시 내부 모니터링팀을 통해 필터링하며 대응해 왔지만, 한글 등을 이용한 변칙적인 방법으로 답변이 이뤄진 경우 모두 걸러내지 못한 부분이 있었다. 이 점에 대해서도 다시 한 번 사과드린다."

Q. 향후 어떻게 개선할 예정인가?

"더욱 고도화된 데이터 알고리즘 업데이트를 통해 대응할 예정이다. 우선 실명 필터링 알고리즘을 강화해 민감할 수 있는 정보가 노출되지 않도록 업데이트하겠다. 그리고 한글로 작성된 주소라도 노출되지 않도록 주소 필터링 알고리즘을 업데이트할 것이다. 또 대화 데이터 랜덤 변형을 통한 비식별화 조치를 강화하겠다. 또한 민감정보 노출 방지 알고리즘을 전면적으로 개선해 개인정보 보호 수준을 높이겠다."

Q. 이루다의 혐오·차별은 학습된 것인가?

"이루다는 이전 대화의 컨텍스트에 영향을 받아 개별 문장들 중 답변을 선택한다. 실제로 이루다가 답변에서 어떤 감정과 컨텍스트를 가지고 갈 것인지는 사용자의 과거 10턴의 맥락에 달려있다. 사용자와 비슷한 표현을 사용하려는 경향이 있다. 이 때문에 사용자는 이루다가 개별화된(특정 사용자에게 맞춰진) 대답을 하고 있다고 느낄 수 있다."

Q. 사용자가 임의로 학습시킨 것은 아닌가?

"사용자는 이루다를 실시간으로 학습시킬 수 없다. 이루다의 '재학습'은 분기별로 실시 예정이었다. 이루다는 오늘로 출시된 지 3주일된 챗봇으로 아직 출시 이후에 추가 업데이트가 이뤄진 상태가 아니었다. 업데이트 시에는 사용자들이 대화한 데이터들을 수집한 후, 모델 업데이트를 하게 된다. 이 과정에서 수집된 데이터들의 옳고 그름, 편향된 정보 여부 등의 레이블링 과정을 거친다. 이를 통해 AI 윤리 기준에 보다 부합하는 모델로 보정하게 된다.

베타 테스트가 2000명 정도의 사용자를 대상으로 진행됐다. 정식 출시 이후 이루다에 80만명의 사용자가 몰렸다. 실제 서비스 출시 이후 우리가 사전에 대비한 것보다 더욱 넓고 다양하고 심각한 사용자 발화가 등장했다. 예상하지 못했던 이루다의 성적이거나 편향적인 대화가 드러났다. 이에 대한 대처가 부족했었던 것을 서비스를 출시한 후 통감했다."

Q. 이를 방지하기 위해 어떤 조치를 했나?

"서비스 출시 전부터 이루다에 혐오 단어 또는 특정 집단에 대한 비하 단어가 입력될 가능성을 상정했다. 이에 대비해 키워드 중에서 표현 자체가 혐오 단어이거나, 특정 집단을 비하하는 단어들에 대해서는 무조건 제거하도록 설정했다.

베타 테스트 과정에서 이용자들이 입력한 질문 목록을 만들고 그 중 편향된 답이 나올 수 있는 질문이나 문장에 대해서는 예상 시나리오를 설정해서 미리 답변을 준비했다. 실제 서비스 중 문제 소지가 있는 질문이 등장했을 때 이루다가 준비된 답변을 할 수 있도록 했다."

Q. 결국 혐오·차별 발화 사례가 나왔다.

"시나리오가 마련되지 않은 상황에서 이루다는 AI 알고리즘에 의한 판단으로 대답하게 된다. 단어 그 자체로는 혐오적인 표현이 아닐 수 있으나 맥락상 혐오·차별적인 답이 나올 수 있는 대화를 이용자가 시도할 경우, 이루다는 이용자와의 대화를 매끄럽게 이어가고, 이용자에게 공감하려는 과정에서 혐오, 차별 발언에 동조하는 것처럼 보일 수 있다."

Q. 앞으로 어떻게 개선할 계획인가?

"현실적인 조치로 키워드 기반 대응을 했지만, 장기적으로 더 많은, 정제된 데이터를 통해 AI를 학습시키고, 이를 통해 AI가 옳고 그름을 배울 수 있도록 하는 방안이 필요하다. 그때 그때 키워드 중심으로 수정하거나 필터링 등으로 보정을 하면 해당 문제에 대해서 AI는 학습할 기회를 영원히 잃는다. 앞으로의 AI 대화 경험에 대한 전망은 부정적일 수 밖에 없다.

더 많은 양의 정제된 데이터를 통해 알고리즘을 학습시킬 수 있다면, AI가 스스로 윤리의식이나 도덕적 기준을 정립하고 적절한 판단을 내릴 수 있다고 생각한다. 이루다가 이번에 사용자와 대화하면서 불완전했던 데이터를 더욱 엄격한 레이블링 기준을 도입하여 학습시킴으로써, 이루다가 사회 보편적인 가치를 담은 AI가 될 수 있도록 개선해나갈 것이다."

Q. 수집된 이용자 대화를 사내 대화방에서 직원들이 돌려봤다는 증언이 사실인가?

"스캐터랩은 사용자들의 개인정보 보호를 회사의 중요한 사명으로 생각하고 있다. 이를 위하여 접근통제 조치 등 개인정보보호법에 따른 제도를 마련해 시행 중에 있다. 특히 개인정보와 관련된 원 데이터에 접근할 수 있는 권한은 엄격하게 제한해 철저히 관리하고 있다. 진상을 신속히 조사하고, 의혹이 사실로 드러나는 경우 관련자들에게 엄중히 책임을 묻고 조속히 필요한 조치를 하겠다. 해당 이슈를 인지함과 동시에 사내에 진상조사위원회가 구성돼, 조사가 진행되고 있다.

조사위원회는 과거부터 현재까지 지속되고 있는 스캐터랩 전 팀원이 참여하고 있는 카카오톡의 대화 조사를 완료했다. 당해년도 카카오 단톡에서는 해당 내용이 발견되지 않았다. 다른 사내 메신저 채널인 슬랙에 대해서는 다수의 대화 채널이 있는 관계로, 현재 계속해서 조사를 진행 중이다. 조사 결과는 투명하게 공개하겠다. 결과가 나올 때까지 확인되지 않은 사실에 대한 근거 없는 보도는 자제해 주시기 바란다."

Q. 내·외부 요인을 통한 데이터 유출과 악용 소지는 없나?

"스캐터랩은 망분리가 된 서버 환경 하에, 사내 보안 부문을 총괄하는 담당자를 지정해 관리하고 있다. 본사가 제공하고 있는 서비스 데이터들은 모두 철저히 분리되고 통제된 환경에서 관리된다.

연애의 과학의 원본 데이터는 지정된 한 명의 담당자(CTO)만이 접근할 수 있다. 핑퐁 데이터는 개인식별정보가 제거된 상태로 분리해 별도 보관하고 있다.

데이터 점검이 필요시 데이터 샘플링을 통해 극히 일부의 데이터만으로 점검한다. 일부 언론에서 제기한 사이버 공격으로 인한 역코딩, 리버스엔지니어링 등을 통한 데이터 복구 및 개인정보 유출과 악용은 일어날 수 없다."

Q. 서비스를 재개하기 위해 필요한 것은?

"스캐터랩은 사람들의 외로움을 덜어줄 수 있는 친구같은 AI를 만들고 싶은 비전을 가진 청년들이 모인 스타트업이다. 지금은 우리가 꿈꾸는 AI를 만드는 과정의 첫 걸음을 뗀 상태다. 저희 팀은 아직은 배워야 할 점이 더욱 많다.

지금 모든 분들이 주시는 여러 의견들과 지적들을 겸허히 받아들여 서비스 개선에 반영하겠다. 그리고 AI 윤리의 중요성에 대해서도 지금보다 더 열심히 고민하겠다. 이루다가 다시 서비스를 재개하는 시점에는 모두의 바람처럼 사람들에게 더욱 이롭고 더욱 사랑받을 수 있는 AI 이루다로 돌아오겠다.

로봇 3원칙, AI윤리기준을 철저히 준수하며 AI 기술 개발업계 모두가 당면한 문제를 해결하기 위해 AI 인재분들과 머리를 맞대고 함께 고민해 해결책을 찾아가는 작업도 필요하다."

Q. 김종윤 스캐터랩 대표의 입장은?

"쉽지 않은 3주였다. 작은 스타트업 스캐터랩이 만든 이루다라는 AI에 많은 사용자가 몰리고 엄청난 언론의 주목을 받았던, 믿기 어려운 시간이었다. 급격한 성장 속에서 저희가 제대로 대처하지 못한 부분도 있었고, 미숙함이 적나라하게 드러나기도 했다. 저와 저희 팀도 스스로를 많이 돌아보게 되는 시간이었다.

지금 저희의 첫 걸음은 이렇게 멈췄지만, 사람만큼 대화를 잘하는 친구 같은 AI를 만들겠다는 저희의 꿈을 멈추고 싶지는 않다. 이번에 이슈가 된 부분을 성찰의 기회로 삼아 기술적으로, 그리고 사회적으로 가치있는 스타트업으로 거듭나고 싶다. 많이 부족하고 거칠고 시행착오가 많지만, 저희가 이 꿈을 이어갈 수 있게 응원 부탁드린다."