목록GPT-2 (1)

Ttoro_Tech

[AIVLE_3기]_11주차_GPT

GPT(Generative Pre-Training) 최근 ChatGPT(GPT-3.5)와 GPT-4까지 나오면서 화제가 되고 있는 NLP 모델이다. 11주차 미니 프로젝트에서는 자연어 분류 모델로 BERT를 사용하였지만, 다른 계열의 NLP 모델인 GPT에 대해서도 정리하고자 한다. GPT 기존 방식 다양한 딥러닝 모델들은 레이블링된 데이터를 이용해서 학습을 진행 (Supervised Learning) 하지만 레이블된 데이터를 구하기는 쉽지 않음 GPT에서 제안된 방식 준지도 학습 방식을 제안(Semi-Supervised) 비지도 사전 학습(Unsupervised pre-training) + Supervised fine-tuning 최종적인 목표는 다양한 task에 대해 작은 변화만으로 적용시킬 수 있는..
KT AIVLE School 3기 기자단/Paper Reviews 2023. 4. 19. 16:08
이전 Prev 1 Next 다음