국회 과학기술정보방송통신위원회 소속 김장겸 국민의힘 의원이 최근 사회 문제로 떠오른 '딥페이크 성범죄'를 막기 위해 포털과 플랫폼의 AI생성물 표시를 의무화하는 내용의 정보통신망법 개정안을 대표 발의했다.

김 의원은 29일 "최근 AI 기술 대중화로 누구나 합성된 영상과 음성을 쉽게 만들 수 있게 되면서 이를 악용하는 사례가 발생하고 있다"며 "유명인의 얼굴과 목소리를 이용해 만든 딥페이크 생성물을 '리딩방 사기'에 활용하고, '허위의 성적 영상'이 무분별하게 유포되며 심각한 사회 문제로 대두되고 있다"며 입법 취지를 설명했다.

현행법은 방송통신심의위원회가 불법정보 및 불법촬영물 유통에 대해 삭제 및 차단 요구를 할 수 있고, 시정명령이 이행되지 않을 경우 형사고발이 가능하다. 그러나 불법 유통물이 방대하게 쏟아지면서 즉각적이고 실효적인 대응이 어렵다는 한계가 있다.

김 의원은 이에 불법 AI생성물 유포를 선제적으로 차단하기 위해 '포털·플랫폼 딥페이크 표시의무제'를 골자로 하는 정보통신망법 개정안을 내놨다. 포털·플랫폼의 역할과 책임을 규정한 것이 핵심이다. 

개정안은 먼저 일정 규모 이상의 포털 및 플랫폼 사업자는 AI 기술을 이용해 만든 가상의 정보인지 여부를 표시할 수 있는 기능을 제공하도록 규정한다. 정보 이용자가 AI생성물 여부를 쉽게 식별할 수 있도록 하겠다는 취지다.

딥페이크 표시 방법을 제공하지 않은 포털·플랫폼 사업자에게는 1000만원 이하의 과태료를 부과하도록 했다.

아울러 포털·플랫폼 사업자는 표시의무를 위반한 AI생성물의 탐지와 삭제 등 유통방지 조치를 취하게 했다. 이 외에도 포털·플랫폼 사업자가 AI생성물을 탐지할 수 있도록, AI개발자에게 판독 방법을 제공할 의무를 부여했다. 

정보를 게재하려는 이용자에게도 AI생성물 표시의무를 부과하고, 이 표시를 임의로 제거하거나 훼손할 수 없도록 규정했다. 플랫폼 사업자가 표시의무를 이행하지 않거나 임의로 제거·훼손한 이용자에게 경고 또는 이용정지, 수익 제한 조치를 할 수 있는 규정도 담았다.

다만, 인공지능 기술의 사용 범위와 목적 등을 고려해 ‘대통령령으로 정하는 인공지능 생성물’에는 예외를 뒀다.

김 의원은 "법안이 통과되면, 가상 정보와 실제 사실을 구분할 수 있게 돼 AI 기술을 악용한 범죄와 사회적 혼란을 방지하고 가짜뉴스 피해를 예방할 것으로 기대한다"며 "딥페이크 등 불법 AI 생성물로 국민이 고통받지 않도록 조속한 입법이 이뤄지도록 최선을 다하겠다"고 밝혔다.