[코난 기업용 LLM]_AITIMES_뉴스기사('23.08.17)

https://www.aitimes.com/news/articleView.html?idxno=152936 

코난, 기업용 LLM 공개..."국내 최다 7000억개 토큰 학습" - AI타임스

코난테크놀로지

• 기업 전용 대형언어모델(LLM)을 공개
• 매개변수는 줄이고 학습 토큰은 늘려 성능을 최대화하고 비용을 낮춤
• 온프레미스와 벡터 검색으로 보안과 정확도를 극대화한 기업 전용 모델

인공지능 전문 코난테크놀로지

• 코난 LLM을 최초 공개
• 김영섬 대표

 

생성 AI 시장에 빠르게 대응하고자 기술 개발과 장비 투자를 이어 왔고,
이 자리에서 노력의 결실을 공개하게 돼 기쁘다. 앞으로도 기술 고도화에 매진하겠다.

코난 LLM의 장점 및 비즈니스 모델 소개

• 국내 최다 학습 토큰
• 20억건에 달하는 양질의 문서기반 데이터
• 벡터검색 기술

등을 통해 보안 우려와 비용 부담은 덜고 답변 신뢰성은 높였음

한국어 특성에 기반한 구조로 답변 성능이 뛰어나고 보고서 초안 생성에 특화환 B2B, B2G LLM을 표방

온프레미스와 벡터 검색

보안

• 퍼블릭 클라우드가 아닌 온프레미스(자체구축)로 LLM을 제공해 내부 데이터 유출을 막겠다는 전략
• 벡터 검색 엔진 구동
  • LLM의 문제 중 하나인 환각 현상을 줄임
  • 코난 서치(벡터 검색 기반)를 연동, 답변과 함께 근거 및 출처를 참고문서 형태로 제시함

코난테크놀로지

자체 개발한 디스크 기반 벡터 검색 기술을 상용화한 국내 유일기업으로,
10억건 이상의 문서에서 결과를 도출해내는 하이엔드 검색 기술을 축적했다.

7000억개 토큰 학습

• 코난 LLM은 전체 토큰 492B, 한국어 토큰 284B개를 학습
• 11월에 내놓을 모델에는 전체 학습 토큰 700B, 한국어 토큰은 322B개가 사용됨
• 토큰 규모는 국내 최대 수준을 강조함

매개 변수

	코난테크놀로지	OpenAI	Naver
모델	코난 LLM	GPT-3.5	HyperClova
Parameter	13.1B 41B (2가지 버전 제공)	175B	204B

• 매개변수 사이즈는 줄이고 학습 토큰은 늘려 저사양 고성능을 실현한다는 전략
• 기업은 용도나 예산에 맞춰 13.1B나 41B 중 하나를 골라 사용할 수 있음

자체 보유 데이터 - 코난LLM의 비결

• 2007년부터 온라인 미디어 심화 분석 서비스 '펄스케이'를 통해 약 20.5B개 문서를 자체 확보
• SNS 메세지나 뉴스 댓글 등을 제외한 2B(20억)건을 학습에 사용함

보고서 초안에 특화

• 코난 LLM은 '문서 초안 생성'을 위해 미세조정, 문서와 보고서, 보도자료 등의 초안 생성에 최적화함
• 간단한 프롬프트 만으로 4000자 분량이 문서를 만들어냄
• 문서생성 중 추가 질의, 첨삭 및 참고자료 생성도 동시 수행
• 문서 작성 시간과 비용을 줄이고 작업 생산성을 향상한다는 설명

프롬프트 분량

• 한번에 입력하는 프롬프트 분량인 컨텍스트 길이(Context Length)를 핵심으로 봄
• 코난 LLM 41B는 한번에 처리할 수 있는 토큰이 4000개,
  한글 오픈소스 모델인 '폴리글롯(Polyglot-ko) 2K'보다 2배 이상 김
• 메타의 LLaMA2의 한국어 단어 처리 능력은 코난 LLM의 20% 정도로 불과, 이는 한국어 능력이 뛰어나다는 것을 전함

최초 시연

• 코난 LLM은 4000자 분량의 보고서를 7초만에 생성해냄
• 다양한 프롬프트에도 고른 답변 성능을 보여줌
• 또한 챗팅 방식을 통해 문서 생성 중에도 대화형 질의를 지원하는가 하면, 도표, 이어쓰기, 요약하기 등 문서 첨삭까지 다양한 기능을 소개

코난 LLM의 수익화

• 라이선스 또는 연간 구독 모델로 판매할 계획
• 코난 챗봇과 AICC(컨택센터용 AI)를 지원하는 '코난 보이스봇'에도 코난 LLM을 도입, 다양한 비즈니스 수요에 대응할 계획