컨텍스트 윈도
컨텍스트 윈도는 한 번의 생성에서 모델이 처리할 수 있는 토큰화된 정보량입니다. 지시문, 사용자 입력, 대화 기록, 검색 문서, 도구 결과, 출력 토큰을 포함합니다. 공개된 제한이 입력과 출력을 합친 값인지는 제공자 문서를 확인해야 합니다.
긴 컨텍스트를 지원한다고 모든 정보가 동일하게 활용되는 것은 아닙니다. 증거가 중복되거나 모순될 수 있고, 중요한 정보가 distractor 사이에 묻힐 수 있습니다. 따라서 용량과 효과적인 활용을 구분해야 합니다.
컨텍스트 엔지니어링
중요 지시와 현재 요청을 보존하고, 현재 단계에 필요한 증거만 검색하며, 오래된 상태를 요약하되 식별자·수치·인용·제약은 정확히 유지하세요. 중복과 낡은 내용을 제거하고 출력 공간을 미리 확보해야 합니다. 영속 상태는 끝없이 커지는 prompt가 아니라 명시적 저장소에 두는 편이 안전합니다.
평가할 때는 관련 증거의 위치, 긴 입력, distractor, 모순된 자료, 토큰 한계 근처의 요청을 포함하세요.