마음AI "700억 파라미터 LLM, 엔비디아 A100 2장만으로 구동 성공"

2024-07-10 16:54
  • * AI기술로 자동 요약된 내용입니다. 전체 맥락과 내용을 이해하기 위해서는 기사 본문 전체를 보시길 권장합니다

    마음AI는 파라미터(매개변수) 700억(70B) 규모의 초거대언어모델(LLM)을 엔비디아의 그래픽처리장치(GPU)인 A100 2장만으로 구동할 수 있도록 초경량화에 성공했다고 10일 밝혔다.

    회사 관계자는 "최근 저전력 칩에 STT, TTS, LLM을 동시에 탑재하는 것에 성공하며 온디바이스 AI 분야에서 가능성을 내비친 데 이어, 온프레미스(On-premise) AI 분야에서의 자사 경쟁력 또한 입증한 것"이라고 강조했다.

    이 관계자는 "자사의 독보적인 경량화 기술을 통해 고객 기업들이 경제적이고 가벼운 온프레미스 LLM 서비스를 적극 활용할 수 있도록 지원하겠다"고 덧붙였다.

  • 글자크기 설정
사진마음AI
[사진=마음AI]
마음AI는 파라미터(매개변수) 700억(70B) 규모의 초거대언어모델(LLM)을 엔비디아의 그래픽처리장치(GPU)인 A100 2장만으로 구동할 수 있도록 초경량화에 성공했다고 10일 밝혔다. 이번에 초경량화한 LLM은 자사 LLM인 'MAAL-알바트로스'다.

온프레미스 LLM의 주요 과제는 LLM을 기업 내부 네트워크에 적용하기 위해 모델 크기를 줄이는 것이다. 마음AI는 양자화 기술을 통해 LLM 파라미터를 4비트로 압축하면서도 기존 성능을 유지하는 데 성공했다.

회사 관계자는 "최근 저전력 칩에 STT, TTS, LLM을 동시에 탑재하는 것에 성공하며 온디바이스 AI 분야에서 가능성을 내비친 데 이어, 온프레미스(On-premise) AI 분야에서의 자사 경쟁력 또한 입증한 것"이라고 강조했다.

이 관계자는 "자사의 독보적인 경량화 기술을 통해 고객 기업들이 경제적이고 가벼운 온프레미스 LLM 서비스를 적극 활용할 수 있도록 지원하겠다"고 덧붙였다.

©'5개국어 글로벌 경제신문' 아주경제. 무단전재·재배포 금지

0개의 댓글
0 / 300

로그인 후 댓글작성이 가능합니다.
로그인 하시겠습니까?

닫기

댓글을 삭제 하시겠습니까?

닫기

이미 참여하셨습니다.

닫기

이미 신고 접수한 게시물입니다.

닫기
신고사유
0 / 100
닫기

신고접수가 완료되었습니다. 담당자가 확인후 신속히 처리하도록 하겠습니다.

닫기

차단해제 하시겠습니까?

닫기

사용자 차단 시 현재 사용자의 게시물을 보실 수 없습니다.

닫기
공유하기
닫기
기사 이미지 확대 보기
닫기