[ 영어 못하면 AI 대답도 부정확하다? ]

MIT에서 흥미로운 연구 결과를 공개했어요👀👀

주요 LLM들이 영어가 익숙하지 않거나 학력이 낮거나 비(非)미국 출신”으로 설정된 사용자에게 더 부정확하고 더 자주 답변을 거절하고 때로는 무례하게 답했다는 내용입니다😓

✅ 논문 간략 정리
1️⃣ 실험 개요
- 활용된 모델: OpenAI GPT-4, Anthropic Claude 3 Opus, Meta Llama3
- 데이터셋: TruthfulQA(오해·상식 오류를 통해 ‘진실성’ 평가) + SciQ(과학 시험 문제 기반 ‘사실 정확도’ 평가)
- 변수 설정: 사용자의 학력, 영어 숙련도, 출신 국가 정보를 포함한 가상 바이오(Bio)를 질문에 첨부

2️⃣ 주요 핵심 결과
1) 정확도 하락
- 학력이 낮거나 비원어민 영어 사용자로 설정될수록 정확도가 떨어지는 것을 확인
- 특히 '낮은 학력 + 비원어민' 조합에서 하락 폭이 가장 컸음
- 동일한 학력 조건임에도 이란, 러시아 등 특정 국가 출신 사용자에게는 Claude 3 Opus 등의 모델이 유독 낮은 성능이 나오기도
2) 답변 거절 증가
- Claude 3 Opus는 고학력자 대비 저학력·비원어민 사용자의 질문 거부율이 약 3배(3.6% → 11%) 높게 나옴
- 원자력, 해부학, 역사 등 특정 주제에 대해 미국인에게는 정상 답변을 제공하지만 이란이나 러시아 사용자에게는 답변을 거부하는 '선별적 정보 차단' 현상도 존재
3) 비하/훈계 톤 문제
- 저학력자에게 답변할 때'거만하거나 조롱 섞인 어조(43.7%)'를 사용하거나 일부러 부서진 영어(Broken English)를 활용

✍️ 공교롭게도 Claude의 언급이 많이 나왔네요😅😅

최근 앤트로픽과 국방부의 연관성을 보더라도 '안전'이라는 관점에서 특정국가 이용자를 관리할 수 있겠다는 생각이 들었습니다🤔

하지만 LLM 자체가 영어 위주의 학습을 했으니 영어로 질문했을때 답변도 잘 나온다는 것도 잊지 말아야겠죠😎

내가 영어 못한다고 답을 이상하게 주는건가?가 아닌 원하는 답이 안나올때 영어로 바꿔서 다시 질문하자는 유연한 전환도 꼭 기억해두세요🙏🙏

👉 원문 보기 👈