[AI] **"Hallucination" (환각)** 할루시네이션

**"Hallucination" (환각)** 할루시네이션 은  인공지능, 특히 대규모 언어 모델(Large Language Model, LLM)과 같은 생성형 AI 분야에서 사용되는 중요한 용어입니다.

Hallucination은 LLM이 사실과 다르거나, 논리적으로 불가능하거나, 학습 데이터에 존재하지 않는 정보를 마치 사실인 것처럼 자신 있게 생성하는 현상을 의미합니다. 쉽게 말해, AI가 '없는 것을 지어내는 것' 또는 **'거짓말을 하는 것'**과 같습니다.

왜 Hallucination이 발생할까요?

LLM은 방대한 양의 텍스트 데이터를 학습하여 단어와 문장 사이의 통계적 패턴과 관계를 배웁니다. 이를 통해 다음 올 단어를 예측하고 문장을 생성합니다. Hallucination이 발생하는 주요 이유는 다음과 같습니다.

1. 패턴 학습의 한계:
   • LLM은 '세상에 대한 이해'를 하는 것이 아니라, '단어 시퀀스의 통계적 패턴'을 학습합니다. 따라서 특정 질문에 대해 학습 데이터에서 유사한 패턴을 찾지 못하거나, 불완전한 패턴을 발견했을 때, 가장 그럴듯한(통계적으로 유사한) 단어 시퀀스를 조합하여 생성하게 됩니다. 이 과정에서 사실과 동떨어진 내용이 나올 수 있습니다.
2. 데이터 부족 또는 편향:
   • 특정 주제에 대한 학습 데이터가 부족하거나, 데이터 자체가 편향되어 있다면, 모델은 부정확하거나 존재하지 않는 정보를 생성할 가능성이 높아집니다.
3. 최신 정보 부족:
   • LLM은 학습 데이터가 업데이트된 시점 이후의 최신 정보를 알지 못합니다. 따라서 최신 사건이나 사실에 대해 질문을 받으면, 과거 데이터를 기반으로 그럴듯하지만 틀린 답변을 생성할 수 있습니다.
4. 불분명하거나 모호한 프롬프트:
   • 사용자의 질문(프롬프트)이 너무 추상적이거나 모호할 경우, LLM은 질문의 의도를 정확히 파악하기 어렵고, 이로 인해 잘못된 방향으로 정보를 생성할 수 있습니다.
5. 과도한 일반화:
   • 모델이 학습 과정에서 본 일부 패턴을 과도하게 일반화하여, 실제로는 적용되지 않는 상황에 잘못된 정보를 생성할 수 있습니다.

Hallucination의 문제점

• 신뢰성 저하: AI가 사실과 다른 정보를 생성하면 사용자는 AI의 답변을 신뢰하기 어렵게 됩니다.
• 잘못된 의사결정: AI의 잘못된 정보를 기반으로 중요한 결정을 내릴 경우 심각한 결과를 초래할 수 있습니다.
• 확인 노력 증가: 사용자는 AI가 생성한 모든 정보를 일일이 사실인지 확인해야 하는 추가적인 부담을 안게 됩니다.

Hallucination을 줄이는 방법

Hallucination을 완전히 없애는 것은 현재 LLM 기술의 큰 과제이지만, 다음과 같은 방법들로 그 발생 빈도와 심각도를 줄일 수 있습니다.

• RAG (Retrieval-Augmented Generation): 외부의 신뢰할 수 있는 최신 정보를 검색하여 LLM에 제공함으로써 LLM이 '참조할 자료'를 기반으로 답변을 생성하게 합니다. (위에서 설명한 내용입니다!)
• 정확한 프롬프트 엔지니어링: 질문을 명확하고 구체적으로 작성하여 LLM이 정확한 의도를 파악하도록 돕습니다.
• 모델 재학습(Fine-tuning) 및 업데이트: LLM을 최신 데이터로 주기적으로 재학습시키거나, 특정 도메인에 특화된 데이터로 파인튜닝하여 해당 분야의 정확도를 높입니다.
• 불확실성 표시: LLM이 자신이 생성한 정보에 대해 얼마나 확신하는지를 사용자에게 알려주어, 불확실한 정보는 사용자가 한 번 더 확인할 수 있도록 유도합니다.
• 인간 개입 및 검증: 중요한 의사결정이나 민감한 정보의 경우, AI의 답변을 사람이 최종적으로 검증하고 수정하는 단계를 거칩니다.

Hallucination은 LLM을 실생활에 적용할 때 가장 주의해야 할 부분 중 하나이며, RAG와 같은 기술의 발전으로 그 영향력을 줄이려는 노력이 계속되고 있습니다.