대규모 언어 모델
대규모 언어 모델(LLM)은 토큰 시퀀스의 확률 분포를 학습한 신경망입니다. 자기회귀 LLM은 주어진 컨텍스트에서 다음 토큰의 분포를 계산하고 하나를 선택한 뒤, 이를 컨텍스트에 붙여 종료 조건까지 반복합니다. 일반적으로 저장된 문장을 그대로 찾는 것이 아니라 학습된 파라미터와 현재 컨텍스트로 새 확률을 계산합니다.
학습에서 애플리케이션까지
사전학습은 대규모 말뭉치에서 다음 토큰 예측을 최적화합니다. instruction tuning과 preference optimization은 대화와 작업 수행에 맞게 동작을 조정합니다. 실제 제품은 모델뿐 아니라 토크나이저, 컨텍스트 정책, 검색 증거, 도구 권한, parser와 validator, 상태 관리, 평가와 비용 제어를 포함합니다.
능력과 한계
LLM은 변환, 추출, 분류, 설명, 코드 생성, 합성에 유용하지만 출력은 확률적입니다. 유창한 문장도 거짓 주장이나 잘못된 인용을 포함할 수 있습니다. 컨텍스트 민감성, 유한한 컨텍스트 윈도, 불균일한 지식, 약한 확률 보정이 중요한 한계입니다. 따라서 신뢰성은 prompting만이 아니라 검색, 도구, 결정론적 검사, typed interface, 작업별 평가로 확보해야 합니다.
설계와 평가
모델 선택 전에 품질, 지연시간, 비용, 컨텍스트 크기, modality, 데이터 처리 제약, 도구 요구사항을 정의하세요. 모델 단독이 아니라 전체 애플리케이션을 대표 작업으로 평가해야 합니다.