Q
[질문]api서비스와 자체 개발을 하이브리드로 해야할 시나리오에서의 효과적인 대응 방향이 있으면 설명 부탁드립니다,
A
API 서비스와 자체 개발을 하이브리드로 운영하는 시나리오에서는 민감 데이터 처리나 핵심 비즈니스 로직은 자체 개발 LLM으로, 일반적인 질의응답이나 보조적인 기능은 API 서비스로 분리하여 대응하는 것이 효과적입니다. 이를 통해 데이터 주권 및 보안을 확보하면서도 개발 속도를 높이고 운영 비용을 최적화할 수 있습니다. API 게이트웨이를 통해 요청을 적절한 LLM으로 라우팅하하는 방법으로 설계하는 것도 고려해볼 만합니다.