[KT_초거대AI]_BylineNetwork_인터뷰('23.03.21)

https://byline.network/2023/03/0321-3/

KT는 왜 초거대 AI를 만드나?

ChatGPT의 등장

• ChatGPT는 사람처럼 대화를 하고, 글을 쓰고, 코딩도 가능
• 질문을 하면 곧바로 답을 주기 때문에 구글이나 네이버 같은 검색엔진 변화도 생길 것으로 기대

KT의 초거대 언어모델(LLM, Large Language Model) - 믿음

• 왜 만드나?
  • LLM은 구글 페이스북 같은 글로벌 빅테크 기업이나 오픈 AI와 같은 초대형 스타트업이 하는 분야
  • 한국에서도 네이버나 카카오 등이 LLM개발, 이유는 이들은 국내 시장에서 빅테크 기업과 경쟁하는 입장
• 기간통신사업자 KT
  • 직접 LLM을 만들지 않아도 본질적인 경쟁력이 훼손되지 않음
  • 빅테크가 제공하는 API를 활용해서 필요한 서비스를 만들어 잘 쓰기만 해도 됨

LLM 투자 비용

• LLM은 막대한 자본이 소요되는 기술
• 마이크로소프트(MicroSoft)로부터 조 단위의 자금을 투자 받아서 만들어진 ChatGPT

이러한 점에서 KT 왜 믿음을 만드는가?

• 인터뷰는 AI연구소 융합기술원 장두성, 성주원 상무와 진행

인터뷰 내용 정리

• KT는 2년 반 정도부터 언어처리 위주 초거대 AI 기술 개발
• 'AICC', '기가지니'에 적용 중

AICC

• AI 기반 콜센터
• KT는 '100번'이라는 큰 콜센터를 운영
• 콜센터를 직업 운영하기 어려운 회사를 위해 콜센터를 대행해 주는 서비스 진행
• 이러한 서비스에 AI를 결합
• 추가로 AI 호텔이나 AI 물류 등 다양한 분야에 AI를 적용하는 쪽으로 진행

그렇다면 위와 같은 서비스에 모두 LLM이 적용되는가?

• 우선적으로 적용하고 있는 것은 100번 콜센터, AICC, 기가지니 등
• 하나씩 바꿔 나가고 있는 중

KT 개발자의 시각에서 ChatGPT와 LLM의 상황

• ChatGPT는 아직 좀 부족한 점이 많아 보였음
• 하지만 자신있게 내놓은 점에서 놀라웠음

아직 완성되지 않은 서비스를 과감하게 서비스 했다는 점이 놀라운가?

• 여러 기업들이 다들 비슷한 수준에서 내부적으로 만든 것이 있음
• GPT-3가 처음 나온 이후 여러가지를 다 잘하는 모델을 만드는 방향으로 기술이 흐름
• 문제는 잘하는 것은 잘함, 못하는 것이 많음.
• 서비스 관점에서 항상 정답을 얘기해야 하는데, 틀린 답이 많아서 내놓기 어려움
• 구글 바드 역시 이러한 판단으로 내놓지 않았을 것으로 판단됨.
• 반면 OpenAI - "사용자들이 스스로 판단하세요", 이는 결과적으로는 잘한 일이 됨

KT도 OpenAI 정도 수준인가?

• OpenAI가 이번에 오픈한 것과 유사한 형태의 서비스들은 구글 등에서 이미 논문으로 다 발표된 것
• 일반 사람들은 잘 모르고 있다가, ChatGPT를 통해 수면에 떠올라 임팩트가 강한것
• 하지만 한국어 데이터는 적어 ChatGPT 만큼 성능은 기대하기 어려움
• 외국에서는 데이터셋을 공유하는 문화가 있으나, 국내는 공유하는 회사나 기관들이 많지는 않음.
• 정부에서 진행하는 말뭉치 구축 사업
  • AI HUB에서 데이터를 생성 중, 하지만 활성화된 것이 2년 밖에 안됨.
  • 한국어 데이터 쪽은 한 1년 정도는 뒤쳐져 있음.

앞으로 기술 방향 멀티 모달

• 이미지, 오디오, 영상 등 다양한 데이터를 통해 언어 모델을 생성함.
• 로봇이나 센서 등 역시 멀티 모달에 속해 있음
• 이러한 점에서 KT에서 네트워크에 올라오는 수많은 센싱 데이터들을 초거대 AI와 결합 해서 진행할 수 없을까 고민.

KT는 초거대 AI분야에서 어느 정도 진도를 나아갔나?

• KT는 '믿음'이라는 초거대 모델을 보유 중
• 모델 그 자체보다 모델을 사업에 빠르게 적용하는 것에 중점을 두고 있음
• 언어 모델을 만든다고 끝나는 게 아니라, 서비스를 만들기 위해서 필요한 요소들이 있음.
  • 굉장히 빠른 추론이 필요.
  • 모델 사이즈를 좀 줄이는 경량화 작업이 필요
  • 윤리적인 문제를 필터링하는 것도 필요
• 이러한 것을 기가지니나 100번 콜센터에 우선 적용, 사업화를 진행중

100번 콜센터에 사용된 AI

• 100번 콜센터에 전화를 할 경우, 상담사는 본인이 상담한 내용에 대해 상담 메모를 작성
• 현재 초거대 AI를 기반으로 상담내용을 요약해 주는 파일럿 서비스를 하고 잇음
• 전체 상담원 5000석 중 100석에 적용
• 현재 실험 중, 상담사 만족도가 매우 높음

이전 유사한 서비스와 무엇이 다른가?

• 기존에 상담내용 요약 서비스를 제공하고 있었음
  • 상담 어시스트
  • 화자를 자동 인식해서 음성인식 결과를 녹취록으로 만들어 주는 기능
  • 대화를 추천해주는 기능 등을 제공
  • 하지만 요약 기능은 잘 사용하지 않음
• 과거 요약 기능 로직
  • 상담 대화 중에서 중요한 문장을 뽑아내는 방식
  • 문장별로 전체 상담 내용에서 이 문장이 얼마나 중요한 역할을 하는가?
  • 점수를 매긴 후 중요한 문장을 뽑아냄
  • 이를 추출 요약
• 뉴스에서는 잘 적용되었으나, 대화에서는 앞뒤 문장이 없으면 해석이 어려움
• 이에 요약 분야에 LLM을 적용하였더니 높은 만족도를 보이고 있음

AI 스피커 기가지니

• 기가지니에 화자를 인식해서 그에 맞는 대답을 하는 기능이 존재
• 질문자가 아이라고 인식되면 아이한테 맞춤형 답변을 생성해 제공
• LLM을 기반으로 전문가의 지식을 학습해, 최적의 답변을 해 줄 수 있도록 기술 준비 중
• 육아 상담 QA
  • 어느 정도 기술을 완성
  • 전문가의 목소리나 말투도 모사를 해서 답변을 마치 그 전문가가 하는 것처럼 제공할 예정

초거대 AI의 비용 문제

• KT 역시 LLM 운용에 비용이 많이 듦.
• 이를 모델 경량화 및 효율적인 추론이 될 수 있는 방향으로 만들고 있음

왜 API를 구매하지 않고, 직접 만들어서 글로벌 빅테크와 경쟁하는가?

• 빅테크가 굉장히 많은 기술들을 가지고 앞으로 나아가고 있음.
• 하지만 한국어에 대해서는 큰 신경을 쓰고 있지 않음.
•  ChatGPT 역시 한국어 성능은 영어에 비해 10분의 1 수준
• KT 사업 중에서 AI를 적용할 부분이 많음
  • AICC, 호텔, 아파트, 물류, 네트워크 분석 등
  • 이를 위해 필요로 하는 형태로 서비스에 가공을 해서 집어 넣으려면 데이터와 모델을 가지고 있어야 한다
    판단함
• 상당히 많은 투자비가 필요하지만 플랫폼화를 하는 데 있어 꼭 필요한 기본적인 기술이라 판단

모델 자체 서비스보단 응용 서비스를 만들어 제공?

• ChatGPT, 글로벌 AI의 목표는 모든 영역에서 다 잘하는 것이 목표
• 하지만 모든 영역을 다 잘하려면, 시간이 많이 걸리고, 신뢰성 문제나 윤리성 문제 - 단기간 극복 어려움
• 따라서 특정 타깃 영역(육아 상담)에 맞춰서 지식을 제공, 거기에 맞는 신뢰성 확보
• 기업별 맞춤전략
• 대규모 회사
  • '믿음'이라는 파운데이션 모델을 그쪽에 맞춤형(Adaptation)으로 해서 제공
  • 원치 않는 고객에 대해서는 스스로 학습을 시킬 수 있도록 도구를 제공
• 소규모 기업
  • 스스로 분류 같은 모델을 학습시킬 수 있도록 제공
  • 학습이 되면, 스스로 API를 만들고 그 API가 KT 클라우드 플랫폼 위에 올라갈 수 있는
    풀 스택 체계를 만들려고 함.

KT 기술의 특성이나 강점

• 단순하게 질의응답하는 선에서 끝나는 게 아니라, 사용자와 공감을 할 수 있도록 굉장히 신경 쓰고 있음
• 육아 상담이나 시니어 케어(노인돌봄) 같은 부분 진행
• 단순히 지식만 전달하는 게 아니라 그 사람의 감성까지 건드리면서 최종적으로 정보까지 제공

잘못된 답변에 대해서는 어떻게 생각하는가?

• 잘못된 응답을 걸러내기 위한 기술을 개발 중
• 응답을 할 때 어디에서 나온 정보인지, 신뢰성이 있는 정보인지를 같이 보여주는 방식으로 풀고자 함
• 신뢰도가 높은 정보에서 뽑아낸 정보인지, 일반 웹에서 가져온 정보인지 알려주는 방식
• 특정한 영역에서 해당하는 지식만을 이용한다면 정확성 있는 답이라고 판단
• 윤리적인 문제는 강화학습 같은 걸 통해서 걸러내는 작업을 진행

육아 상담은 Bing과 같은 질의응답과 달리 틀린 답에 위험도가 크지 않은가?

• 특정 도메인 지식 기반으로 답하면 틀릴 확률이 극소로 줄일 수 있지 않을까 기대
• 하지만 완벽한 AI는 존재할 수 없기 때문에, 틀릴 수도 있다는 인식이 중요
• 대상이 정보 취약계층이 많은 점
  • 시니어 케어 : 노인 분들이 AI가 틀릴 수 있다는 것을 받아들이기 쉽지 않지 않는가?
  • Ans) 감성적인 일상 대화를 제공하고자 하는 것, 잘못된 지식을 전달할 일은 없다고 판단
    그러나 잘못된 단어나, 위험한 답변을 하는 것에 주의가 필요함

정리
- KT는 빅테크 기업들과 경쟁하여, 한국어 특화 LLM을 만들고자 함.
- 이는 KT가 진행 중인 사업에 AI를 접목하기 위해 초거대 AI 모델을 만들고 있음.
- 특정 타겟층을 노려 그 분야에 맞는 전문성있는 AI를 개발하고자 하며, 인간의 감성을 더한 AI 기술을 통해 사람들에게 서비스 하고자 함.