Q
[질문] 모델 캐싱 전략은 어떤 요청 패턴을 기준으로 설계해야 하나요?
A
모델 캐싱 전략은 주로 반복적인 요청 패턴을 기준으로 설계해야 합니다. 동일하거나 유사한 프롬프트가 자주 발생하는 경우, 자주 사용되는 임베딩 또는 출력 토큰 시퀀스를 캐싱하여 Latency를 줄이고 Throughput을 높일 수 있습니다. 특히, 긴 프롬프트에 대한 반복적인 요청이 많거나, 특정 도메인에 특화된 질의가 빈번할 때 캐싱의 효과가 극대화됩니다.