할루시네이션 줄이기
개요
“할루시네이션(hallucination)”이라고 알려진 이 현상은 AI 기반 솔루션의 신뢰성을 저해할 수 있습니다.
이 가이드에서는 환각을 최소화하고 Claude의 출력이 정확하고 신뢰할 수 있도록 하는 기술을 살펴보겠습니다.
기본적인 할루시네이션 줄이기
'모르겠습니다.'라고 말하라고 시키기
사실 근거를 위해 직접 인용 사용하기
- 긴 문서(>20K 토큰)와 관련된 작업의 경우, Claude에게 작업을 수행하기 전에 먼저 원문 그대로의 인용문을 추출하도록 요청
데이터 보호 책임자로서, 이 업데이트된 개인정보 보호정책의 GDPR 및 CCPA 준수 여부를 검토해주세요.
<policy>
{{POLICY}}
</policy>
1. GDPR 및 CCPA 준수와 가장 관련 있는 정책의 정확한 인용문을 추출하세요. 관련 인용문을 찾을 수 없는 경우 “관련 인용문을 찾을 수 없음”이라고 명시하세요.
2. 인용문을 사용하여 이러한 정책 섹션의 준수 여부를 분석하고, 번호로 인용문을 참조하세요. 추출된 인용문에만 기반하여 분석하세요.
인용으로 검증하기
- Claude가 각 주장에 대해 인용문과 출처를 제시하도록 하여 응답을 감사.
이 제품 브리프와 시장 보고서의 정보만을 사용하여 새로운 사이버보안 제품인 AcmeSecurity Pro에 대한 보도자료를 작성해주세요.
<documents>
{{DOCUMENTS}}
</documents>
작성 후, 보도자료의 각 주장을 검토하세요. 각 주장에 대해 문서에서 직접적으로 지원하는 인용문을 찾으세요. 주장을 지원하는 인용문을 찾을 수 없는 경우, 해당 주장을 보도자료에서 제거하고 제거된 위치를 빈 [] 괄호로 표시하세요.
고급 기술
- 사고 체인 검증: Claude에게 최종 답변을 제시하기 전에 단계별로 추론 과정을 설명하도록 요청.
- N번 최적 검증: 동일한 프롬프트로 Claude를 여러 번 실행하고 출력을 비교를 통해 할루시네이션 감별.
- 반복적 개선: Claude의 출력을 후속 프롬프트의 입력으로 사용하여 이전 진술을 검증하거나 확장.
- 외부 지식 제한: Claude에게 제공된 문서의 정보만 사용하고 일반적인 지식은 사용하지 않도록 명시적으로 지시.