Q
[질문] AI Factory 구조는 여러 서비스가 유기적으로 연결돼 있기 때문에, 하나의 장애가 전체 시스템에 영향을 줄 수도 있을 것 같습니다. 이런 장애 전파를 방지하기 위한 구조적 설계가 포함되어 있나요?
A
데이터수집이나 전처리, 추론, RAG와 같은 기능들이 서로 독립적인 마이크로서비스형태로 분리하여 이런 장애전파를 방지할수 있겠습니다. 그리고 사용자별 트래픽유형을 분리하고 AI모델별 리소스를 분리하거나 제한시키는 것도방법이 될 것 같습니다.