마음AI "700억 파라미터 LLM, 엔비디아 A100 2장만으로 구동 성공"

[사진=마음AI]

마음AI는 파라미터(매개변수) 700억(70B) 규모의 초거대언어모델(LLM)을 엔비디아의 그래픽처리장치(GPU)인 A100 2장만으로 구동할 수 있도록 초경량화에 성공했다고 10일 밝혔다. 이번에 초경량화한 LLM은 자사 LLM인 'MAAL-알바트로스'다.

온프레미스 LLM의 주요 과제는 LLM을 기업 내부 네트워크에 적용하기 위해 모델 크기를 줄이는 것이다. 마음AI는 양자화 기술을 통해 LLM 파라미터를 4비트로 압축하면서도 기존 성능을 유지하는 데 성공했다.

회사 관계자는 "최근 저전력 칩에 STT, TTS, LLM을 동시에 탑재하는 것에 성공하며 온디바이스 AI 분야에서 가능성을 내비친 데 이어, 온프레미스(On-premise) AI 분야에서의 자사 경쟁력 또한 입증한 것"이라고 강조했다.

이 관계자는 "자사의 독보적인 경량화 기술을 통해 고객 기업들이 경제적이고 가벼운 온프레미스 LLM 서비스를 적극 활용할 수 있도록 지원하겠다"고 덧붙였다.

관련기사

• 오픈AI, 고급 추론 AI 모델 'o3' 공개… 내년 초 출시
• AI·로보틱스, 모빌리티, XR 등 6대 핵심 트렌드 공개