[프롬프트 엔지니어링]_AITIMES_뉴스기사('23.08.17)

https://www.aitimes.com/news/articleView.html?idxno=152929 

"프롬프트 엔지니어링으로 GPT-4 수능 국어 상위 5% 도달" - AI타임스

프로젝트 팀 노마다마스

• 프롬프트 엔지니어링으로 'GPT-4' 성능을 강화
• 수능 국어 2등급(상위 5%)을 달성했다고 밝힘

노마다마스 github

노마다마스

• 포스텍영재기업인교육원 AI 과정의 지도교수 정철현 박사와 제자들로 이뤄진 팀
• 이번 프로젝트는 한국어 모델의 성능이 뒤떨어지는 이유에 의문을 가지며 시작함

Prompt Enigneering

가장 쉽게 떠올릴 수 있는 방법은 기출 문제를 활용한 Fine-tune 방식

그러나 GPT-4

• 이미 zero-shot 성능이 뛰어나다는 점
• fine-tuning은 지식 학습보단 '말하는 방법'을 알려주는 것에 가까운점
• 시간과 돈, 데이터가 많이 필요하다는 점 때문에 제외

여러번의 실험 결과

• GPT-4는 수능 국어 문제를 '어떻게(how)' 푸는지를 잘 몰랐음
• 이를 해결하기 위해 수능 국어 문제를 푸는 방법을 알려주고자 함

푸는 방법

• 장황하게 문제 해결 방법을 알려주는 것 보다는,
  지문의 특정 문장을 참고하여 선택지 중에 정답을 고르도록 알려주는 것이 제일 좋은 성능
• 군더더기가 있는 말이 들어갈 수록 hallucination 문제(환각 문제)가 심해짐
• CoT 기반의 최대한 간단한 프롬프트 완성 

예시(노마다마스 github 참고)

국어 시험 문제를 푸는 대한민국의 고3 수험생으로서 다음 문제의 답을 구하세요.

문제를 풀이할 때, 반드시 지문을 참고하세요.
문제는 무조건 1개의 정답만 있습니다.
문제를 풀이할 때 모든 선택지들을 검토하세요.
모든 선택지마다 근거를 지문에서 찾아 설명하세요.

다음의 형식을 따라 답변하세요.
최종 정답: (최종 정답)
1번: (선택지 1번에 대한 답변) + "(지문 속 근거가 된 문장)"
2번: (선택지 2번에 대한 답변) + "(지문 속 근거가 된 문장)"
3번: (선택지 3번에 대한 답변) + "(지문 속 근거가 된 문장)"
4번: (선택지 4번에 대한 답변) + "(지문 속 근거가 된 문장)"
5번: (선택지 5번에 대한 답변) + "(지문 속 근거가 된 문장)"

지문:
{지문 내용}

질문 :
{질문 내용}

선택지 :
1번 - {1번 내용}
2번 - {2번 내용}
3번 - {3번 내용}
4번 - {4번 내용}
5번 - {5번 내용}

CoT(Chain-of-Thoughts) 방식

• 특정 임무의 수행 능력을 강화해 GPT 모델의 성능을 향상한 것
• CoT 방식의 프롬프트 엔지니어링 기술을 GPT-4에 적용, 언어 모델이 사람의 논리적 사고 과정을 따르도록 프롬프트를 가공해 능력을 끌어올림
• 또 특정 문제 유형에 맞춘 프롬프트 엔지니어링을 이용, 1등급(상위 4%) 성적도 가능

노마다마스

• 보안 위협과 환각 증세가 없는 문서 검수 AI - KoPrivateGPT(코프라이빗GPT) 프로젝트도 진행

정철현 지도 교수

초거대 AI의 한국어 능력이 아직 떨어진다고 알려진 바와 다르게,
이미 최상위 수준에 도달했다는 것을 확인할 수 있었다.
국가적 관점에서는 독과점을 견제하는 오픈소스 한국어 모델의 발전이 중요하고,
기업적 관점에서는 프롬프트 엔지니어링과 문서 기반 질의 응답 등 활용 기술이 중요해질 것

노마다마스

• 사용자가 언어모델의 한국어 기반 논리 능력을 향상할 수 있도록 오픈소스로 프로젝트를 공개
• 해당 프로젝트는 평가원 국어 문제를 변환한 데이터, 언어 모델의 API를 활용해서 자동으로 시험을 볼 수 있는 코드
• 1등급을 받은 프롬프트 등을 포함함

https://github.com/NomaDamas/KICE_slayer_AI_Korean

GitHub - NomaDamas/KICE_slayer_AI_Korean: 수능 국어 1등급에 도전하는 AI