서울시, AI로 아동·청소년 성착취물 잡아내 즉시 삭제...2차 피해 방지

2024-05-22 11:15
  • * AI기술로 자동 요약된 내용입니다. 전체 맥락과 내용을 이해하기 위해서는 기사 본문 전체를 보시길 권장합니다

    서울시가 아동·청소년 성착취물을 24시간 자동 감시하는 AI 시스템을 활용해 선제적인 삭제에 나선다.

    서울시는 22일 서울연구원이 개발하고 서울 디지털성범죄 안심지원센터에서 분석 지원한 아동·청소년 성착취물 AI 감시 시스템이 이달 중 마무리된다고 밝혔다.

    센터는 다음 달부터 AI 감시 시스템을 활용해 아동·청소년 성착취물을 선제적으로 삭제한다.

  • 글자크기 설정

서울 디지털성범죄 안심지원센터, 오는 6월부터 AI 활용

AI 안면인식 기술로 나이 판별

오세훈 서울시장이 서울디지털성범죄 안심지원센터 개관 1주년 기념식에서 전문가 학부모들과 간담회를 갖고 있다 사진서울시 제공
오세훈 서울시장이 서울디지털성범죄 안심지원센터 개관 1주년 기념식에서 전문가, 학부모들과 간담회를 하고 있다. [사진=서울시 제공]


서울시가 아동·청소년 성착취물을 24시간 자동 감시하는 AI 시스템을 활용해 선제적인 삭제에 나선다.
 
서울시는 22일 서울연구원이 개발하고 서울 디지털성범죄 안심지원센터에서 분석 지원한 아동·청소년 성착취물 AI 감시 시스템이 이달 중 마무리된다고 밝혔다.
 
센터는 다음 달부터 AI 감시 시스템을 활용해 아동·청소년 성착취물을 선제적으로 삭제한다. 구글, 빙 등 검색엔진에서 피해 영상물 관련 키워드로 검색해 찾아내는 방식이다. 중국·미국 등 해외에 유포된 피해 영상물도 검색한다.
 
시스템을 통해 성착취물을 검출하는 시간이 80배 빨라질 것으로 기대된다. AI가 키워드 입력부터 영상물 검출까지 걸리는 시간은 90초에 불과해 기존 수작업에 2시간가량 걸리는 데 비해 크게 개선된다.
 
감시망을 피하기 위해 변형된 키워드도 AI가 잡아낸다. '딥페이크'를 '뒵페' '뒷페' 등으로 바꾼 신조어도 사회관계망서비스(SNS) 빅데이터 분석을 통해 자동 생성한다. 삭제지원관이 30개 키워드를 검색하는 사이 100배 키워드를 생성해 보다 많은 피해 영상물을 찾아낼 수 있다.
 
디지털 성범죄 피해자 지원을 해왔던 센터가 삭제 업무를 맡는다. 그간 삭제지원관 5명이 피해자 요청에 따라 영상물을 찾아내 삭제했다.

아동·청소년들은 부모나 수사기관에 알리지 못해 피해 영상물이 그대로 유포되는 사례가 적지 않다. 센터 측 피해 요청 현황에 따르면 아동·청소년 피해자가 스스로 신고한 사례는 12명으로 7.8%에 그쳤다.
 
센터가 2022년 3월 개관한 후 1년 동안 지원한 아동·청소년 피해자는 19.2%를 차지했으며 피해 지원은 2026건이었다. 지난해 3월부터 지난 3월까지 지원한 아동·청소년 피해자는 22.2%로 2배 이상, 피해 지원은 1만5434건으로 7배 이상 증가했다.
 
범죄 수법은 연령별로 다른 양상을 보였다. △만 8세 미만은 온라인 게임상 유료 아이템 △만 8~13세 미만은 오픈채팅방(서열방, 노예놀이) △만 13~19세 미만은 채팅알바, 불법 사진합성 등을 매개로 성적인 사진을 요구하는 사례가 많았다.
 
 
AI 감시 시스템이 검출한 피해 영상물 결과화면 예시 사진서울시 제공
AI 감시 시스템이 검출한 피해 영상물 결과화면 예시. [사진=서울시 제공]


이에 시는 현행법이 아동·청소년에 한해 당사자 신고 없이 피해 영상물 즉시 삭제가 가능하도록 규정하고 있는 만큼 이번 기술을 개발하게 됐다고 설명했다. AI 시스템은 피해자 성별과 나이를 판별할 수 있는 안면인식 기술을 갖췄다. 얼굴이 나오지 않더라도 영상물 속 사물, 청소년 언어 습관 등을 함께 인식해 판별한다.

센터는 수사로 이어질 것에 대비해 피해 영상물에서 최대한 채증한 후 삭제할 예정이다. 또 내년에는 검색뿐만 아니라 신고까지 AI가 하는 자동 신고 시스템을 구축할 계획이라고 시는 설명했다.

김선순 서울시 여성가족정책실장은 "우리 사회를 충격에 빠트린 N번방 사건 이후 4년이 흘렀지만 여전히 아동‧청소년을 대상으로 한 디지털 성범죄는 사라지지 않고 있고 그 피해도 심각하다"며 "서울시는 작년 전국 최초로 AI 삭제 지원 기술을 도입한 데 이어 아동‧청소년 성착취 영상을 특정할 수 있는 기술을 통해 선제적인 감시‧삭제에 나서 아동‧청소년이 안전한 서울을 만들어 나가겠다"고 말했다.
 

©'5개국어 글로벌 경제신문' 아주경제. 무단전재·재배포 금지

0개의 댓글
0 / 300

로그인 후 댓글작성이 가능합니다.
로그인 하시겠습니까?

닫기

댓글을 삭제 하시겠습니까?

닫기

이미 참여하셨습니다.

닫기

이미 신고 접수한 게시물입니다.

닫기
신고사유
0 / 100
닫기

신고접수가 완료되었습니다. 담당자가 확인후 신속히 처리하도록 하겠습니다.

닫기

차단해제 하시겠습니까?

닫기

사용자 차단 시 현재 사용자의 게시물을 보실 수 없습니다.

닫기
공유하기
닫기
기사 이미지 확대 보기
닫기