마음AI "700억 파라미터 LLM, 엔비디아 A100 2장만으로 구동 성공"
2024-07-10 16:54
온프레미스 LLM의 주요 과제는 LLM을 기업 내부 네트워크에 적용하기 위해 모델 크기를 줄이는 것이다. 마음AI는 양자화 기술을 통해 LLM 파라미터를 4비트로 압축하면서도 기존 성능을 유지하는 데 성공했다.
회사 관계자는 "최근 저전력 칩에 STT, TTS, LLM을 동시에 탑재하는 것에 성공하며 온디바이스 AI 분야에서 가능성을 내비친 데 이어, 온프레미스(On-premise) AI 분야에서의 자사 경쟁력 또한 입증한 것"이라고 강조했다.
이 관계자는 "자사의 독보적인 경량화 기술을 통해 고객 기업들이 경제적이고 가벼운 온프레미스 LLM 서비스를 적극 활용할 수 있도록 지원하겠다"고 덧붙였다.