[Meta_라마]_인공지능신문_뉴스기사('23.02.25)

https://www.aitimes.kr/news/articleView.html?idxno=27447 

메타 '마크 저커버그', "오늘, 우리도 생성 AI 언어 모델 '라마(LLaMA)'를 출시했습니다!" - 인공지능

 

세계는 현재 다양한 언어 생성 AI(Generative AI)모델에 집중

• 오픈 AI의 'ChatGPT'
• 구글의 'Bard'
• MS(MicroSoft) 의 'Bing' 등

 

페이스북의 모회사인 메타(Meta)

• 라마(LLaMA) - 언어 생성 모델 발표

 

마크 저커버그(Mark Zuckerberg) - 메타 CEO

• '오늘(한국 시간 25일) 우리는 연구자들의 연구 발전을 돕기 위해 설계된 새로운 최첨단 AI 대규모 언어 모델 LLaMA를 출시한다'
• LLM - 대형 언어 모델
• 텍스트 생성, 대화, 서면 자료 요약, 수학 정리 풀이
• 단백질 구조 예측과 같은 복잡한 작업에서 많은 가능성을 보여줌

 

LLaMA

• ChatGPT나 Bing과 같지 않음
• 누구나 대화할 수 있는 시스템이 아님
• 전문가들이 기존 AI 모델들의 편견과 해악에서부터 단순히 정보를 구성하는 경향에 이르기까지
• 기존의 인공지능 언어 모델의 문제를 해결할 수 있도록 하는 것을 핵심

 

최근 ChatGPT의 문제

• ChatGPT가 정치적으로 편향되거나 극단적으로 공격적이거나 서로 다른 방식의 결과 등의 최근 이슈 인정
• 시스템과 정책이 함께 작동, ChatGPT에서 얻는 결과를 형성하는 방법에 대한 몇 가지 오류도 확인

 

개선 방안

• ChatGPT의 행동이 어떻게 형성?
• ChatGPT의 기본 동작을 개선하기 위한 방법?
• 더 많은 시스템 사용자 지정을 허용?
• 의사 결정에 대해 더 많은 대중의 의견을 얻는 것? 등

메타가 공개한 LLaMA

• 단일 시스템이 아닌 매개변수(Parameter)가 70, 130, 330, 650억 개
• 다양한 크기의 모델 4종으로 출시
• 연구 사용 사례에 초점을 맞춘 비상업적 라이센스
• 대학, 기관, NGO, 산업 연구소 등 사용 가능

 

LLaMA 모델 별 hyperparameter

LLaMA

• 새로운 접근 방식을 테스트, 다른 사람의 작업을 검증, 새로운 사용 사례를 탐색하는데 훨씬 적은 컴퓨팅 성능과 리소스 필요
• 대규모 언어 모델 공간에서 LLaMA와 같은 소규모 기초 모델을 학습하는 것이 바람직
• 용량이 다른 모델의 10분의 1수준에 불과, 스마트폰 등 다양한 엣지 디바이스에서도 생성 AI구현 가능
• 기초 모델은 레이블이 지정되지 않은 대규모 데이터 세트를 기반으로 학습
  • 다양한 작업을 위한 미세 조정에 이상적
• 더 많은 토큰(단어 조각)으로 훈련된 작은 모델
  • 특정 잠재적 제품 사용 사례에 맞게 재훈련하고 미세 조정하기 쉬움
  • 1조 4천억 개의 토큰으로 LLaMA 65B와 LLaMA 33B를 학습
  • 가장 작은 모델 LLaMA 7B는 1조 개의 토큰으로 학습

다양한 문제에 대한 LLaMA 모델 성능

LLaMA

• 일련의 단어를 입력으로 받아 다음 단어를 예측하여 재귀적(Recursively Generate)으로 텍스트를 생성하는 방식
• 모델을 학습시키기 위해 라틴어와 키릴 문자(Cyrillic Alphabet)를 중심으로 사용자가 가장 많은 20개 언어 선택
• 코드 공유
  • 대규모 언어 모델에서 이러한 문제를 해결하기 위한 새로운 접근 방식으로 보다 쉽게 테스트 가능
  • FaceBookReserach GitHUB - LLaMA
  • 연구 논문(LLaMA: Open and Efficient Foundation Language Models)

GitHub - facebookresearch/llama: Inference code for LLaMA models