SKT가 이끄는 통신 특화 LLM, 빠르면 6월 출격
2024-04-30 10:00
SKT, 통신사 지식 최적화된 LLM 개발 중…'AI 멀티엔진' 토대로 AI 일상화 앞당긴다
SKT는 5세대 이동통신(5G) 요금제, T멤버십, 공시지원금 등 우리나라의 통신 전문 용어와 AI 윤리가치 등 통신사의 내부 지침을 학습한 '텔코 LLM'을 개발하고 있다고 30일 밝혔다. 오는 6월 중 개발을 완료할 예정이다.
텔코(Telco·통신사) LLM은 말 그대로 통신사에 최적화된 LLM을 일컫는다. SKT는 그간 오픈AI, 앤스로픽 등과 협력을 통해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집해 왔다. 이를 토대로 정형·비정형 데이터를 선별해 SKT '에이닷엑스', 오픈AI 'GPT', 앤스로픽 '클로드' 등 다양한 범용 LLM에 학습시킴으로써 통신에 특화된 LLM을 개발 중이다.
여기서 SKT는 '멀티(다중) LLM' 전략을 선보였다. 통신사들이 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있도록 했다. 이를 위해 SKT는 에이닷엑스, GPT-4, 클로드 등에 한국어로 된 통신 관련 데이터를 학습해 다양한 텔코 LLM을 개발하고 있다.
에릭 데이비스 SKT AI 테크 컬래버레이션 담당은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략"이라고 설명했다.
텔코 LLM과 관련해 SKT는 통신 영역에서 범용 LLM 대비 높은 수준의 생성 AI 작업을 수행할 수 있다고 언급했다. 범용 LLM은 통신사의 번호이동 방법 등 전문 지식을 제대로 학습하지 않아 요금제 추천 등 세세한 고객 요구에 제대로 대응하기 어렵다는 설명이다. 이를 구축하기 위해 우선 통신사 관련 데이터를 수집하고 비정형·정형 데이터를 선별·정제하는 작업을 했다.
이를 토대로 범용 LLM을 통신사 전용으로 파인튜닝(미세조정)하는 과정을 거치고, 상담사들이 실제 텔코 LLM이 답변한 내용에 대해 품질이나 만족도 등을 평가하는 휴먼 피드백 기반의 강화학습(RLHF)을 거친다. 그 이후 텔코 LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등 최종 모델 평가를 하게 된다. 즉 고객이 요금제를 문의하거나 부가서비스 변경을 요청하는 상담 유형을 선택하는 영역에서 낮은 점수를 받으면, 관련 데이터를 더 구축하는 방식으로 학습하는 식의 파인튜닝 과정을 통해 계속 고도화하는 것이다. SKT는 이러한 과정을 주기적으로 실행해 텔코 LLM의 역량을 높인다.
SKT 관계자는 "현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요된다"며 "텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 기대된다"고 짚었다.
아울러 통신사의 네트워크 인프라 운용에도 텔코 LLM이 유용하다는 설명이다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코 LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다. 텔코 LLM이 장비 매뉴얼, 대응 사례 등의 정보를 바탕으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 줄일 수 있다는 설명이다. SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.
정민영 SKT AI플랫폼 담당은 "고객센터, 인프라 뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR과 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속적으로 텔코 LLM을 활용한 유즈케이스를 늘려갈 계획"이라고 설명했다.
SKT는 이와 함께 통신사들이 생성 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 일종의 기업용 AI 개발·운용 패키지다.
SKT는 멀티LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼을 현재 에이닷(A.) 등의 서비스 등에 적용 중이며, 적용 사례를 지속 확대할 예정이라고 밝혔다. 통신사가 하려는 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트, 인프라 어시스턴트, 사내 업무 혁신 등 활용할 수 있는 서비스 범위는 무궁무진하다는 설명이다.
SKT 관계자는 "우리나라를 비롯해 글로벌 통신사들은 물론 상담업무 등 유사한 업무 특성을 가진 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것으로 기대한다"고 말했다.