맞춤형 생성 인공지능(AI) 챗봇을 만들려는 국내 기업이 메타(Meta)와 같은 빅테크 기업의 오픈소스 거대언어모델(LLM)을 활용하기가 수월해진다. 공개된 LLM에 기업 서비스에 맞는 데이터를 추가 훈련하는 ‘미세조정(fine-tuning)’과 서비스 자동화 작업을 통합한 AI 개발·서비스 플랫폼이 국내 소프트웨어 업체를 통해 시범 제공되기 시작했다.

AI 플랫폼 업체 래블업은 오는 9월 LLM 통합 기능을 탑재한 백엔드닷에이아이(Backend.AI) 정식판을 온프레미스 버전 고객사에 제공한다고 20일 밝혔다. 백엔드닷에이아이는 기업이 AI를 개발·서비스하는 데 필요한 그래픽처리장치(GPU), AI 반도체, 데이터를 효율적으로 다루는 솔루션으로 LLM과 그림·텍스트·음악 등 생성 AI 개발 분야에 보급되고 있다.

백엔드닷에이아이는 앞서 GPU 클러스터 활용도 향상, 직관적인 사용자 경험과 관리, 저비용·저지연 AI 모델 제작과 서비스 기술, 다양한 AI 반도체 지원 기능을 갖춰 다양한 AI 개발·서비스 업무를 지원했다. 래블업은 여기에 LLM 개발, 미세조정, 서비스 자동화 기능을 더해 솔루션 활용 범위를 업무 자동화, 연구, 프로그래밍 등 생성 AI 응용 분야로 넓혔다.

래블업은 백엔드닷에이아이 LLM 통합 기능을 지난 11~13일 개최한 개발자 콘퍼런스 ‘파이콘 한국 2023’에서 처음 선보였다. 참석자는 래블업의 시연을 통해 회사가 보유한 엔비디아 H100 GPU 클라우드 팜에서 12시간 만에 미세조정한 메타의 ‘라마2(Llama2)’ 모델을 즉석에서 챗봇 서비스로 만들고 자체 사용자 인터페이스(UI)로 제공하는 과정을 확인했다.

파이콘에서 시연한 테스트용 서비스는 △메타의 라마2 기본 모델 △래블업이 미세조정한 라마2 △업스테이지가 미세조정한 라마2 △폴리글롯(PolyglotV2) 모델 기반 코알파카(KoAlpaca) 등 다양한 모델을 지원한다. 이용자가 원하는 모델을 선택해 대화를 시작하면 오픈AI의 챗GPT처럼 챗봇에 명령을 입력하고 답변을 받는 채팅 기능이 곧바로 실행된다.

래블업은 이날 시연한 것처럼 다양한 LLM을 한국어 처리에 맞춰 미세조정하기 위해 백엔드닷에이아이의 자동화 시스템 ‘패스트트랙(FastTrack)’을 이용했다고 설명했다. 이를 비롯한 백엔드닷에이아이 LLM 통합 기능은 내달 출시를 앞두고 일부 고객 대상으로 베타 테스트 중이다. 오는 21~23일 열리는 슈퍼컴퓨팅 학술대회 ‘KSC 2023’에서도 소개된다.

신정규 래블업 대표는 “보안이 요구되는 기업 및 기관, 연구소 및 조직에 LLM 기반의 다양한 서비스를 개발하고 사내에 통합하는 과정을 극단적으로 단순화했다”며 “모든 조직이 백엔드닷에이아이를 사용해 필요에 맞는 고유 LLM을 쉽게 파인 튜닝하고 운영할 수 있을 것”이라고 말했다.