인공지능(AI)이 기업 채용 과정에서 성별이나 인종 등을 이유로 채용자를 차별하는 것을 막기 위해 미국 뉴욕시 의회가 'AI 차별금지법(가칭)'을 신설한다. 강력한 감사 시스템을 도입함으로써 방대한 데이터를 활용해 AI를 학습시키는 현행 딥러닝(인공신경망) 방식의 문제점을 해결할 수 있을지 업계의 이목이 쏠리고 있다.

11일 AI 업계에 따르면, 뉴욕시 의회는 AI 알고리즘이 성별, 인종 등의 이유로 채용자를 차별하는 것을 막기 위해 기업이 AI를 활용해 사람을 평가할 경우 어떤 AI 모델과 소프트웨어를 활용했는지 평가 당사자에게 알려야 하는 AI 차별금지법을 제정할 계획이다.

또한 AI 차별금지법에는 AI 모델과 소프트웨어를 판매하는 회사가 AI 알고리즘이 성별, 인종 등을 차별하지 않고 공평하게 운영될 수 있도록 매년 정부와 전문기관에 데이터와 알고리즘 관련 감사를 받아야 한다는 내용이 담겨 있다.

미국 IT 전문지 와이어드에 따르면, 1964년 제정된 미국 민권법(차별금지법)은 사람이 성별, 인종 등을 이유로 채용자를 차별하는 것을 금지했다. 하지만 민권법은 사람의 행위만 금지했지, AI의 차별적 행위를 금지하고 이를 처벌하는 내용은 담겨있지 않다. 반세기 전 제정된 법의 한계다.

2~3년 전부터 많은 테크 기업이 AI를 활용해 이력서를 선별하고 면접 영상과 데이터를 분석하고 있다. 하지만 AI 모델을 학습할 때 편견이 섞인 데이터를 활용하면서 AI 모델이 성별, 인종 등을 이유로 사람을 차별하는 사례가 나타나고 있다. 실제로 지난 2018년 과거 고용패턴을 토대로 아마존이 개발한 AI 모델은 채용 시 여성을 차별했기 때문에 폐기된 바 있다.

국내에선 스캐터랩이 개발한 AI 챗봇 '이루다'가 성희롱과 동성애 혐오를 담은 답변을 내놔 논란이 되고 있다. 만약 국내에서 AI 차별금지법이나 그에 준하는 규제 법안이 제정되면 이루다는 즉시 서비스를 중단하고 데이터와 알고리즘 편향성 해결을 위한 감사를 받아야 한다. 

올해 미국 민주당이 백악관과 상·하원을 장악함에 따라 AI 윤리에 관련된 법적 문제는 더 부각될 전망이다. 조 바이든 미국 대통령 당선자와 민주당은 사람의 삶에 많은 영향을 미치는 AI 알고리즘과 소프트웨어가 법의 강력한 통제를 받아야 한다고 주장하고 있다.

실제로 12개 이상의 미국 도시에서 AI를 활용한 얼굴 인식 기술의 사용이 금지됐으며, 일부 민주당 의원은 채용을 포함해 기업에서 사용하는 AI 의사결정 도구 전반을 규제한다고 주장하고 있다. AI를 활용한 채용 방식이 인종 차별을 심화시키고, 코로나19 이후 경제 회복을 저해할 우려가 있다는 것이다.

하지만 섣불리 AI 규제 법안을 제정하면 법과 현실의 괴리가 나타날 우려가 있다는 지적도 나온다. 샌프란시스코 의회는 지난 2019년 시 정부가 얼굴 인식 기술을 사용하는 것을 금지했지만, 몇 달 후 애플 아이폰(페이스 아이디)을 이용하는 공무원을 모두 범죄자로 만들 우려가 있다는 지적을 받고 조례를 수정해야만 했다.

또한 일부 시민단체와 AI 전문가는 "정부가 AI 개발사를 사전에 규제한다고 해서 AI의 편향성이 해결된다는 보장이 없는 만큼 AI에게 피해를 본 사람이 소송 등을 통해 피해를 구제받을 수 있도록 AI의 법적 책임과 한계를 명확히 할 필요성이 있다"고 지적했다.

에릭 엘먼 미국 소비자데이터산업협회 부사장은 "뉴욕시가 추진하는 AI 차별금지법은 보편화되고 있는 AI 평가 및 신원조회를 도입한 기업에 부담을 줘 오히려 평가자가 신속하게 채용될 기회를 없앨 우려가 있다. 현재 채용 AI는 면접자가 특정 성별·인종 고용을 꺼리는 것을 극복하는 데 도움이 되고 있다"고 주장했다.

반면 줄리아 스토야노비치 뉴욕대 AI 센터장은 "AI 차별금지법은 당연히 제정되어야 할 법률"이라며 "사람들은 자신이 기계에 평가받고 있다는 사실을 알 권리가 있다"고 밝혔다.

이어 채용 AI를 개발하는 미국 스타트업 '하이어드스코어'와 '파이메트릭스'도 AI 차별금지법이 신속히 도입되어야 한다고 뉴욕시 온라인 청문회에서 주장했다. 프리다 폴리 파이메트릭스 최고경영자는 "AI 차별금지법에 따른 감사 요구 사항이 기업에 부담이 될 수도 있다. 하지만 (채용 AI 산업의 발전을 위해) AI의 공정성은 반드시 담보되어야만 하며, 파이메트릭스도 최근 노스이스턴대 AI 연구원들로부터 AI 공정성을 위한 알고리즘 검증을 받은 바 있다"고 설명했다.

뉴욕시 의회에서 AI 차별금지법이 통과되면 법안은 1년 후인 2022년 1월부터 시행된다. 뉴욕시를 시작으로 캘리포니아, 워싱턴 등 민주당이 장악한 주를 중심으로 AI 차별금지법이 확대 적용될 전망이다.