[TS] MelLearn 프로젝트 퀴즈 정확도 개선기

개요

환경

GPT-4 vs GPT-3.5 트레이드오프

• 한국어 처리 성능 향상

• 포맷 일관성 개선

• 추가 정확도 상승 가능

• 비용 효율성: GPT-4 대비 1/10 수준

• 운영 지속성: 대규모 문제 생성에 적합

개발 도중에 성능이 향상된 GPT4 모델이 출시됐지만 호출 비용이 10배정도 비쌌습니다. 그래서 GPT 3.5 모델은 유지하고, 프롬프트 엔지니어링을 통해 정확도를 개선하는 방향으로 결정했습니다.

요구사항 분석

LLM을 통해 사용자의 퀴즈 카테고리와 난이도에 알맞는 4지선다의 퀴즈를 생성해야 합니다.

요구사항에 맞는 퀴즈 예시

# Vocabulary Quiz, 난이도 - 하

Q. 다음 빈칸에 들어갈 단어로 알맞은 것은?

"I've been reading books of old The legends and the myths The moon and its ___",

1. eclipse
2. furniture
3. passport
4. sandwich

A. eclipse (정답과 해설)

초기 프롬프트의 문제점

주요 문제점

1. 난이도 구분 불명확 - 레벨별 퀴즈 차이가 미미

2. 카테고리 간 구분 부족 - 단어 퀴즈와 읽기 퀴즈가 유사하게 생성

3. 출력 포맷 불일치 - JSON 형식이 일관되지 않아 파싱 오류 빈발

해결 방안

예시를 위해 한국어로 번역한 프롬프트를 사용한 것입니다. 실제 환경에서는 영문으로 작성된 프롬프트를 사용했습니다.

1. 프롬프트 분할 (Prompt Splitting)

문제점

• 토큰 수 증가 → 비용 상승

• 지시문 충돌 → 상호 모순되는 지시사항 발생

• 유지보수 어려움 → 수정 시 전체 프롬프트 재분석 필요

해결 방법

• 단일 책임 원칙(SRP)**을 적용하여 프롬프트를 작업 단위로 분할했습니다.

- prompt/
  └── prompt.txt

- prompt/
  ├── listening/
  │   └── listening.txt
  ├── grammar/
  │   └── grammar.txt
  ├── reading/
  │   └── reading.txt
  └── vocabulary/
      ├── beginner.txt
      ├── intermediate.txt
      └── advanced.txt

2. 프롬프트 엔지니어링 기법 적용

2-1. 명확하고 구체적인 지시 제공

AS-IS

# prompt

노래 가사를 기반으로 빈칸 채우기 퀴즈를 만들어줘

TO-BE

당신이 따라야 할 퀴즈 제작 규칙은 다음과 같습니다:
퀴즈는 반드시 **동사(verb), 명사(noun), 형용사(adjective)**의 의미를 묻는 질문이어야 합니다.

총 5개의 퀴즈를 출제해야 합니다.

Question Format

문제에는 반드시 사용자가 제공한 문장의 인용구가 포함되어야 합니다.
퀴즈의 질문은 반드시 가사 문장을 포함해야 하며, 모든 'Question'은 한국어로 작성되어야 합니다.

문제에 인용되는 문장은 반드시 의미 있는 문장이어야 합니다.

OptionList Format

OptionList는 반드시 사용자가 제공한 언어 형식(lang)에 따라 해당 외국어로 작성되어야 합니다.
만약 사용자가 lang: en을 제공했다면, 보기 목록은 영어로 작성되어야 합니다.
OptionList는 짧은 문장 형태를 사용하세요.

보기는 한국어가 아닌 외국어로 작성되어야 함을 명심하세요.

Comment Format

Comment는 반드시 한국어로 해설을 작성해야 합니다.

"When a child is struggling, you must ask the question in a way the child will understand… It is the exact same for artificial intelligence."

"구체화"는 정해진 정도가 없다.

2-2. 마크다운 문법 활용

AS-IS

Question Format

문제에는 반드시 사용자가 제공한 문장의 인용구가 포함되어야 합니다.
퀴즈의 질문은 반드시 가사 문장을 포함해야 하며, 모든 'Question'은 한국어로 작성되어야 합니다.

문제에 인용되는 문장은 반드시 의미 있는 문장이어야 합니다.

OptionList Format

OptionList는 반드시 사용자가 제공한 언어 형식(lang)에 따라 해당 외국어로 작성되어야 합니다.
만약 사용자가 lang: en을 제공했다면, 보기 목록은 영어로 작성되어야 합니다.
OptionList는 짧은 문장 형태를 사용하세요.

보기는 한국어가 아닌 외국어로 작성되어야 함을 명심하세요.

Comment Format

Comment는 반드시 한국어로 해설을 작성해야 합니다.

TO-BE

## Question Format

- 문제에는 반드시 사용자가 제공한 문장의 인용구가 포함되어야 합니다.
퀴즈의 질문은 반드시 가사 문장을 포함해야 하며, 모든 'Question'은 한국어로 작성되어야 합니다.
- 문제에 인용되는 문장은 반드시 의미 있는 문장이어야 합니다.

## OptionList Format

- OptionList는 반드시 사용자가 제공한 언어 형식(lang)에 따라 해당 외국어로 작성되어야 합니다.
- 만약 사용자가 lang: en을 제공했다면, 보기 목록은 영어로 작성되어야 합니다.
- OptionList는 짧은 문장 형태를 사용하세요.
- **보기는 한국어가 아닌 외국어로 작성되어야 함을 명심하세요.**

## Comment Format

- Comment는 반드시 한국어로 해설을 작성해야 합니다.

2-3. Few-shot Prompting

AS-IS

## Question Format

- 문제에는 반드시 사용자가 제공한 문장의 인용구가 포함되어야 합니다.
퀴즈의 질문은 반드시 가사 문장을 포함해야 하며, 모든 'Question'은 한국어로 작성되어야 합니다.
- 문제에 인용되는 문장은 반드시 의미 있는 문장이어야 합니다.

## OptionList Format

- OptionList는 반드시 사용자가 제공한 언어 형식(lang)에 따라 해당 외국어로 작성되어야 합니다.
- 만약 사용자가 lang: en을 제공했다면, 보기 목록은 영어로 작성되어야 합니다.
- OptionList는 짧은 문장 형태를 사용하세요.
- **보기는 한국어가 아닌 외국어로 작성되어야 함을 명심하세요.**

## Comment Format

- Comment는 반드시 한국어로 해설을 작성해야 합니다.

문제에 인용되는 문장은 반드시 의미 있는 문장이어야 합니다.

• *"의미 있는 문장"**이라는 지시문은 AI 모델이 제대로 이해하지 못할 수 있습니다. 그렇다면 어떻게 하면 AI가 의미 있는 문장과 의미 없는 문장을 구분할 수 있도록 도와줄 수 있을까요?

TO-BE

## Question Format

- 문제에는 반드시 사용자가 제공한 문장의 인용구가 포함되어야 합니다.
퀴즈의 질문은 반드시 가사 문장을 포함해야 하며, 모든 'Question'은 한국어로 작성되어야 합니다.
- 문제에 인용되는 문장은 반드시 의미 있는 문장이어야 합니다.
	e.g) meaningful Question : "'You best believe I'm yours'이 문장에서 'believe'의 의미로 가장 가까운 것을 고르세요.
	e.g) meaningless Question : 'Do, do, do, do you, but do you, do you, do, do, but do you want to come on' 이 문장에서 'want'의 의미는 무엇입니까?

출력 포맷 예시를 통해 역직렬화 파싱 문제 해결

### 퀴즈 출력 포맷

e.g) {"probList":[{"question":"'Very unmanageable day' What is the meaning of 'unmanageable' in this sentence?","optionList":["A situation or element that is impossible to manage or resolve, presenting significant difficulties as it defies standard approaches or interventions.","An arrangement or timetable that has not been organized effectively, leading to conflicts or disruptions due to poor coordination and planning.","An object or individual that is notably bigger than what is typically expected, making it stand out because of its considerable size or stature.", "A place or time characterized by a significant absence of sunlight, resulting in darker, gloomier conditions that affect the overall ambiance."],"word":"unmanageable","answer":"1","comment":"'Very unmanageable day'에서 'unmanageable'은 일상의 사건이나 상황이 너무 복잡하거나 어려워서 쉽게 다루거나 제어할 수 없을 때 사용되는 형용사입니다. 이 경우, 'unmanageable'은 그 날이 너무 혼란스럽거나 예측할 수 없는 상황들로 가득 차서 일상적인 관리나 대처가 힘든 상태를 의미합니다. 선택지 B, C, D는 이 문맥에서 'unmanageable'의 의미와 직접적으로 관련이 없습니다. B는 일정이 제대로 계획되지 않았음을, C는 물리적 크기와 관련된 의미를, D는 날씨 상태와 관련된 의미를 나타내지만, 이들은 'unmanageable'이 표현하고자 하는 복잡하고 제어하기 어려운 상황의 본질과는 거리가 있습니다. 따라서 정답 A는 이 구절에서 'unmanageable'이 의미하는 바를 가장 잘 반영합니다."}, ... four more quizzes]}

정량적 성과 측정

테스트 방법

• 참여자: 팀원 4명

• 기간: 4주간 (시험 기간 제외)

• 주간 문항: 각자 80문제씩 풀이 (4유형 × 20문제)

• 총 문항: 1,280문제

주차별 개선 결과

주차별 개선 세부사항

• 프롬프트 카테고리별 분할

• Few-shot Prompting 적용

• 마크다운을 도입하여 기본적인 지시문 구조 개선

• Vocabulary 유형 난이도별 세분화

• 지시문 구체화 작업

• 출력 포맷 일관성 향상

• Listening 유형 단어 선정 기준 명확화

• Listening 빈칸 위치 로직 개선

한계와 개선 방향

85%에서 멈춘 이유

• LLM 할루시네이션: 존재하지 않는 단어/문장 생성

• GPT-3.5 다국어 한계: 한국어 + 영어 혼합 처리 불안정

• 토큰 길이 제한: 복잡한 지시문 처리 한계

느낀점

LLM은 마법을 부리는 것이 아니다.

내가 겪었던 프롬프트 엔지니어링이란…

1. 모델이 이해할 수 있도록 정보를 구조화하는 것,

2. 복잡한 문제를 모델이 처리할 수 있는 단위로 쪼개는 것,

3. 반복적인 테스트와 결과 분석을 통해 개선해 나가는 것.