AI Factory는 데이터 팩토리와 소프트웨어 팩토리의 개념을 확장해서 AI 모델을 개발하고 배포,운영까지 일관된 파이프라인을 제공하고 자동화하는 것을 목표로 합니다. 중요한 차이는 AI 라이프싸이클에 AI 팩도리가 집중하고 있다는 점 입니다.
로드밸런서가 XAI자체를 구현하지는 않지만 XAI 기능이 안정적이고 확장성있게 서비스되도록 도와주는 인프라역할을 할수있습니다.
AI Factory 개념은 AIOps 를 실현하는데 중요한 기반이됩니다. 데이터 파이프라인, GPU리소스나 자동화된 MLOps등 AIOps구현을위한 데이터수집, 분석, 의사결정의 토대가 됩니다.
에이전트마다 역할이나 응답시간 리소스사용량이 다를것이므로, 요청내용에 따라 특정 AI에이전트로 요청을 분기하는 작업이 필요할 것같습니다. 예를들면 실시간 리소스 사용량이나 응답지연시간기준의 부하분산이 될 수 있겠습니다.
프론트엔드앱에 대한 보안을위해 API보안이나, OWASP LLM TOP10 보안을위한 AI게이트웨이가 고려되야 합니다.
데이터수집에대한 최적화, 저지연과 하드웨어기반의 빠른 부하분산처리로 AI딜리버리과정을 극대화하게됩니다.
DevOps조직이 관리하는 클러스터내 서비스와 NetOps조직이 관리하는 인프라간의 서비스 정합성이 가장중요합니다. 이를위한 자동화구현을 어떻게 설계할지가 핵심이라고 보면됩니다.
블루-그린 배포나 카나리배포 방식의 업데이트를 통해 구현이 가능합니다.
모델학습에 필요한 데이터 수집 및 딜리버리가 초기단계에서 가장 큰 어려움입니다. 효율적으로 모델이 학습할수 있는 데이터전송이 이루어저야 합니다.
네 사용자요청이 폭증했을때 GPU자원상황을 고려한 트래픽분배가 핵심입니다. 영상 뒤에서 어떻게 GPU클러스터를 활용하는지 참고해 주시면 될것같습니다.
아직 답변이 없습니다
아직 답변이 없습니다
아직 답변이 없습니다
아직 답변이 없습니다
아직 답변이 없습니다
아직 답변이 없습니다
아직 답변이 없습니다
아직 답변이 없습니다
아직 답변이 없습니다
아직 답변이 없습니다