웨비나속 Q&A

R-series와 Velos의 트래픽 제어 기능은 API Gateway의 일부 역할을 대체할 수 있습니다. 특히 해당 플랫폼으로 구동할 수 있는 소프트웨어 모듈인 APM(Access Policy Manager) 솔루션은 JWT 인증과 권한 검증 기능을 제공해 API 보안 강화에 도움을 줍니다. 다만, 완전한 API Gateway 기능을 위해서는 NGINX Plus(NGINX 커머셜 버전)와 같은 전용 API Gateway와의 연동을 권장합니다.

오늘 국내사례로 소개해드린 내용이 좋은 답변이 될 것 같습니다^^

멀티 클라우드 환경에서 AI Factory 운영에는 F5 Distributed Cloud Service(XC)를 활용해 클라우드간에 트래픽을 지능적으로 라우팅하고, Failover, 최소화된 지연을 지원합니다. XC는 글로벌 분산 네트워크와 중앙 관리 기능으로 효율적이고 안전한 트래픽 분산 및 복원력을 보장합니다.

F5 Solution은 GPU 서버와 독립적으로 운영되며, Cuda로 현재의 GPU load를 측정하는 정보를 API를 개발하고 F5 장비는 이 API와 연동을 해서 트래픽 부하 분산을 적용 하는 방식입니다.

네 F5로드밸런서에서 처리되는 트래픽상태나 리소스사용량 모니터링을 위한 별도의 툴을 제공합니다. 또한 3rd 제품의 모니터링 툴과연동을 위한 API를 제공하고 있습니다(Grafana, Prometheus등)

오늘 소개해드린 rSeries/ Velos플랫폼은 이미 AI환경에서 데이터수집/전송과정에서 사용되고 있습니다

F5 솔루션은 iRule 기반의 사용자 정의 정책으로 AI 리소스 상태를 주기적으로 모니터링합니다. 이를 통해 장애나 트래픽 폭주 시 자동으로 가장 효율적인 AI 서비스로 트래픽을 전환해서 수동 개입 없이 빠르게 복구가 가능합니다

GPU사양은 GPU노드와 관련이있으며 F5제품과 호환성은 따로 고민하지 않으셔도 됩니다.

F5는 DPU에 BINK라는 고성능 ADC 소프트웨어를 탑재해서 CPU에서 처리하던 SSL 터미네이션, 로드밸런싱 같은 데이터 처리를 오프로드해서 에너지 효율을 포함해서 CPU 부하를 크게 줄이고 있습니다. 바로 지금 웨비나 화면에서 보시는 것처럼 BINK에 의해 AI 워크로드에 드라마틱한 성능 개선을 가져올 수 있습니다 ^^