AI Agent
AI Agent는 상태를 유지하고, 행동을 선택하고, 결과를 관찰하며, 계속할지 결정해 목표를 추구하는 시스템입니다. LLM은 의사결정 정책의 일부일 수 있지만 모델 호출 하나만으로 Agent가 되지는 않습니다.
최소 제어 루프
- 목표와 현재 상태를 해석합니다.
- 허용된 행동 또는 최종 응답을 선택합니다.
- 제안된 행동을 검증하고 권한을 확인합니다.
- 모델 밖에서 실행합니다.
- 결과를 관찰로 변환하고 상태를 갱신합니다.
- 종료 조건을 검사합니다.
권한과 실행은 모델이 아니라 애플리케이션이 소유해야 합니다. 생성된 인자는 형식이 맞아도 잘못되거나 안전하지 않을 수 있습니다.
고정 절차로 해결 가능한 작업에는 workflow가 더 시험하기 쉽고 예측 가능합니다. 경로를 미리 열거하기 어려울 때만 제한된 자율성을 사용하세요. 반복 도구 호출, 조기 종료, 무한 루프, 잘못된 인자, 관찰 속 prompt injection, 성공 미검증이 주요 실패 유형입니다.
단계 수, 도구 범위, 시간, 비용을 제한하고 중요한 행동에는 확인을 요구하세요. 평가는 작업 성공, 행동 정확성, 불필요한 단계, 실패 복구, 정책 준수, 지연시간과 비용을 포함합니다.