[뉴스토마토 김진양 기자] 업스테이지는 자사가 개발한 인공지능(AI) 모델이 글로벌 AI 플랫폼인 허깅페이스에서 운영하는 오픈 LLM(거대언어모델) 리더보드에서 2위를 차지했다고 19일 밝혔습니다.
허깅페이스는 다양한 언어와 산업에 대한 거대언어모델을 제공하는 글로벌 AI 플랫폼인데요. OpenAI 챗GPT, 구글의 바드 등 초거대AI 모델들과 비견되는 300여개가 넘는 세계 최고의 AI 모델들이 허깅페이스의 Open LLM(대규모 언어 모델) 리더보드에서 경쟁하고 있습니다.
매일 수십개의 전세계 각국 대표 AI 모델들의 업데이트되며 치열한 경쟁이 이뤄지는 리더보드는 모델의 추론과 상식능력뿐 아니라 언어이해 종합능력과 환각현상(할루시네이션) 방지 등 생성AI 평가에 꼭 필요한 4가지 지표의 평가 점수 평균으로 최종 순위를 결정합니다.
챗GPT로 상징되는 LLM은 많은 양의 텍스트 데이터를 학습해 자연어 처리(NLP)의 다양한 과제를 수행할 수 있는 생성AI 대표 모델입니다. 최근에는 오픈AI의 챗GPT, 구글의 바드, 메타의 라마 등 글로벌 빅테크 기업의 대표 모델들이 뜨거운 경쟁을 벌이고 있으며, 1000억개 매개변수(100B) 이하의 오픈 LLM들의 경쟁도 허깅페이스의 리더보드를 통해 시간 단위로 치열하게 이뤄지고 있습니다.
업스테이지가 허깅스페이스 오픈 LLM 리더보드에서 메타에 이어 2위를 차지했다. 상대적으로 작은 규모인 65B 이하 모델에서는 정상에 올랐다. (사진=업스테이지)
업스테이지는 이달 초 자체 구축한 모델을 허깅페이스의 리더보드에 제출, 성능을 평가받았는데요. 그 결과 업스테이지의 모델은 평균 64.7점을 획득, 메타의 마크 저커버그 최고경영자(CEO)가 오늘 새벽 직접 공개한 ‘라마2’ 70B 모델에 이어 2위를 차지했습니다. 이는 30B(300억)매개변수 모델 최고의 순위로, 라마2의 절반도 안되는 사이즈로 경쟁력 있는 결과를 만들어냈습니다.
특히 업스테이지의 모델은 비교적 작은 모델 사이즈에도 생성AI의 가장 큰 문제점 중 하나인 환각현상 방지 지표에서는 56.5점을 기록, 메타의 최신 ‘라마2’ 모델의 52.8점의 평가를 훌쩍 뛰어넘는 결과를 기록했습니다. 라마2를 제외한 메타, MS 등 빅테크 기업이 만든 모델과 스테이블리티 AI, 데이터브릭스 등 글로벌 AI/LLM 대표 기업의 모델은 물론, 최근 몇 달간 줄곧 1, 2위를 지키던 UAE 기술혁신연구소의 '팰컨' 모델, 데이터브릭스가 13억달러(약 1조7000억원)에 인수한 모자이크ML의 모델 등 최고 성능의AI 모델 대비 평균 10% 가량 높은 성적입니다.
업스테이지가 자체 모델 구축에 나선지 약 두 달 만에 거둔 쾌거인데요. 업스테이지는 최초의 한국어 자연어이해(NLU) 평가 데이터셋인 '클루(KLUE)'를 직접 구축하고, 130만 이용자를 돌파한 국내 대표 생성AI 서비스 AskUp(아숙업)을 직접 운영하며 쌓은 국내 최고의 프롬프트 엔지니어링 및 파인튜닝 노하우를 바탕으로 이번 오픈 LLM 모델 개발에 나섰습니다.
특히 비교적 작은 사이즈인 30B(300억) 규모에서는 1위를 차지하기도 했습니다.
65B이하의 LLM은 가벼운 규모로 비용 절감효과가 크고 내부 서버에 설치와 운영이 가능해 개별 기업이 활용할 프라이빗 AI 등 그 활용성이 매우 높을 것으로 기대를 모읍니다. 그동안 챗GPT에 기업 내부 정보를 입력하면 외부로 유출될 수 있다는 우려가 번지면서 챗GPT의 이용을 제한하거나 아예 막는 회사가 늘어났는데, 이에 대한 대안으로도 주목됩니다. 개별 기업이 보유한 데이터를 학습시켜 내부 정보 유출을 막고 잘못된 정보를 생성하는 환각 현상을 줄일 수 있기 때문입니다.
업스테이지는 추가적으로 국내 다양한 산업의 기업들의 요구에 부응하고자 한국어 성능을 높이기 위해 한국어 데이터를 추가 학습시킬 예정입니다.
김성훈 업스테이지의 대표는 "업스테이지의 AI 기술력이 현재 가장 치열한 경쟁을 벌이고 있는 생성AI 글로벌 톱 플랫폼의 평가에서도 세계 최고의 성과를 거둬 무척 기쁘다"며 "이번에 입증된 업스테이지의 기술력을 바탕으로 국내 기업은 물론 전세계 모든 기업들이AI를 편리하게 사용할 수 있도록 노력하겠다"고 전했습니다.
김진양 기자 jinyangkim@etomato.com