근거성과 환각
Grounding은 생성된 주장을 제공된 문서, 검증된 도구 결과, 데이터베이스 같은 확인 가능한 맥락과 연결합니다. Hallucination은 사용 맥락에서 거짓이거나 근거가 없거나 오해를 부르는 유창한 출력의 넓은 명칭입니다.
사실 오류, 근거 없는 주장, 잘못된 인용, 잘못된 attribution, 증거보다 강한 표현을 구분해야 합니다. 서로 다른 실패에는 서로 다른 해결책이 필요합니다.
허용된 출처 범위를 정하고, stable identifier가 있는 증거를 검색하며, 주장을 구체적 증거에 연결하세요. 각 인용이 주장을 실제로 지지하는지 확인하고 모순과 불확실성을 드러내며, 근거가 부족하면 답을 좁히거나 보류해야 합니다. 인용이 존재한다는 사실만으로 grounding이 성립하지 않습니다.
평가에서는 atomic claim과 지지 증거를 표시하고 citation precision과 coverage를 측정하세요. 답할 수 없는 질문, 상충되거나 오래된 출처도 포함해야 합니다.