Q
[질문] 1.LLM(GPT, BERT 등)을 활용한 AI Agent를 클라우드에서 안정적으로 서비스화하기 위한 딜리버리 전략은 무엇인지요? 2.AI 모델 변경 시, 모델 버전 관리 및 검증을 위한 딜리버리 체계는 어떻게 설계해야 하는지요? 3..AI Agent가 실시간 사용자 요청을 처리할 수 있도록, 딜리버리 측면에서 API Gateway나 서비스 메시 기술을 어떻게 적용할 수 있는지요?
A
1. 컨테이너화 + 오토스케일링+ 카나리배포+CI/CD기반 버전관리 2. A/B검증테스트나 모델관리를위한 MLflow 3. API게이트웨이를 통한 인증이나 속도제한, 로깅처리, 서비스메시는 내부서비스간 E/W트래픽제어및 보안적용