웨비나속 Q&A
최근 웨비나 진행 중 발생한 질문과 답변을 조회할 수 있습니다
[질문드려요]직접 구축형 모델을 쓸 경우, AI 서비스에 대한 접근 제어·로깅·감사(Audit Trail)는 어떤 구조로 구성해야 안정성과 규제 대응이 가능할까요?
직접 구축형 LLM 서비스의 접근 제어, 로깅, 감사(Audit Trail)는 통합적인 보안 아키텍처를 통해 구성해야 안정성과 규제 대응이 가능합니다. 접근 제어는 RBAC(역할 기반 접근 제어)를 적용하고, 모든 API 호출 및 데이터 접근에 대한 상세 로그를 기록해야 합니다. 이 로그들은 중앙 집중식 로깅 시스템에 저장하고, 정기적인 감사 및 모니터링을 통해 이상 징후를 탐지해야 합니다.
아이티센클로잇
2025-06-24 14:43
[질문] 기업이 LLM 서빙 전략을 수립할 때 '비용-제어권-유연성' 세 가지 측면에서 어떤 기준이나 매트릭스를 활용해 기술 스택을 결정하는 것이 효과적인가요?
기업의 LLM 서빙 전략 수립 시 비용-제어권-유연성 측면에서 기술 스택을 결정할 때는 각 요소를 가중치로 부여한 매트릭스를 활용하는 것이 효과적입니다. 비용은 초기 투자 및 운영 비용, 제어권은 데이터 주권 및 보안 정책 적용 가능성, 유연성은 커스터마이징 및 확장 용이성을 기준으로 평가할 수 있습니다. 비즈니스 요구사항과 내부 역량을 종합적으로 고려하여 최적의 균형점을 찾아야 합니다.
아이티센클로잇
2025-06-24 14:42
[질문] 모델의 크기와 GPU의 설정에 관한 부분을 어떻게 설정하나요? 예로들어서 8B모델은 어떠한 GPU로 클라우드 서버 스펙을 설계하나요?
모델 크기와 GPU 설정은 모델의 요구 메모리 및 연산량에 따라 결정됩니다. 8B(80억) 파라미터 모델의 경우, 일반적으로 단일 GPU 또는 소수의 고성능 GPU(예: NVIDIA A100 또는 H100)를 사용하여 클라우드 서버 스펙을 설계하는 것이 효율적입니다. 모델의 정밀도(FP32, FP16, INT8 등)와 배치 크기도 GPU 메모리 사용량에 큰 영향을 미치므로 이를 고려해야 합니다.
아이티센클로잇
2025-06-24 14:41
[질문] LLM 서빙에 있어 Prompt 입력값, 사용자 로그, 추론 결과 등의 민감 데이터를 처리할 때, 국내 개인정보보호법(PIPA)이나 산업별 규제(예: 금융 전자금융감독규정, 공공 클라우드 보안 인증)에 따라 어떤 기술적 조치를 반드시 취해야 하며, 관리형 서비스에서는 이를 어떻게 보장할 수 있는지 사례가 있나요 ?
LLM 서빙 시 민감 데이터 처리에 있어 국내 개인정보보호법 및 산업별 규제 준수를 위해 데이터 암호화, 접근 제어, 감사 로그 기록, 그리고 비식별화 또는 마스킹 기술 적용이 필수적입니다. 관리형 서비스의 경우, 서비스 제공자가 제공하는 보안 및 규제 준수 인증(예: 클라우드 보안 인증(CSAP))을 확인하고, 데이터 처리 방식에 대한 상세 계약을 통해 규제 준수를 보장받을 수 있습니다.
아이티센클로잇
2025-06-24 14:40
[질문] 자사 내부 시스템과 연동해야 하는 LLM 서빙 환경을 고려할 때, Kubernetes 기반의 프라이빗 구축과 관리형 API 서비스 중 어떤 방식이 데이터 주권, 네트워크 연결성(Latency, VPC Peering 등), 보안 정책(예: IP 허용, TLS termination)에 있어 더 유리한지 구체적으로 설명해 주실 수 있습니까?
내부 시스템 연동 및 데이터 주권, 네트워크 연결성, 보안 정책 측면에서는 Kubernetes 기반의 프라이빗 구축이 관리형 API 서비스보다 유리합니다. 프라이빗 구축은 데이터를 내부에서 관리하여 데이터 주권을 확보할 수 있으며, VPC Peering 등을 통해 내부 네트워크와 저지연으로 연결하고 IP 허용, TLS termination 등 보안 정책을 직접 제어할 수 있습니다.
아이티센클로잇
2025-06-24 14:39
[질문]금융, 의료, 공공 등 민감 데이터를 포함한 환경에서 LLM 서빙 시 보안이나 데이터 주권 문제를 해결할 수 있는 실질적인 옵션이나 사례 같은 것이 있다면 설명 부탁드려요.
민감 데이터 환경에서 LLM 서빙 시 보안 및 데이터 주권 문제를 해결하기 위한 실질적인 옵션으로는 온프레미스 또는 프라이빗 클라우드에 LLM을 직접 구축하는 방식이 있습니다. 데이터 암호화, 접근 제어, 데이터 마스킹/비식별화 기술을 적용하고, 데이터 처리 과정을 엄격하게 감사하는 것이 중요합니다. 특정 사례는 각 기업의 보안 정책 및 규제 준수 요건에 따라 달라질 수 있습니다.
아이티센클로잇
2025-06-24 14:38
[질문] 주요 경쟁 제품이나 솔루션은 무엇이 있고, 경쟁 대비 차별화된 점은 무엇인지 궁금합니다
아직 답변이 없습니다
[질문]LLM 서빙 시 Latency와 Throughput을 동시에 만족시키는 구조(예: 모델 압축, 캐시 전략 등)를 설계할 때 어떤 기술을 우선적으로 고려해야 할까요?
아직 답변이 없습니다
[질문]현재 업계 동향 및 앞으로의 발전 방향에 대해서 문의드립니다
아직 답변이 없습니다
[질문] 솔루션 도입 전에 기업 입장에서 준비해야 하는 사항이나 필수 고려사항은 무엇인가요?
아직 답변이 없습니다
모델의 크기와 GPU의 설정에 관한 부분을 어떻게 설정하나요? 예로들어서 8B모델은 어떠한 GPU로 클라우드 서버 스펙을 설계하나요?
아직 답변이 없습니다
[질문] LLM 서빙 시 GPU Auto-scaling은 어떤 조건으로 트리거하는 게 적절한가요?
아직 답변이 없습니다
[질문] 자체서빙 방식과 API 방식의 보안과 규제준수 측면에서 어떤 기준으로 선택해야 할까요?
아직 답변이 없습니다
[질문]LLM을 PoC 수준에서 실서비스로 확장할 때, 가장 큰 비용 폭등 요인은 무엇이며, 이를 컨트롤하기 위한 비용 최적화 전략(Batch inference, On-demand 인스턴스 등)이 있다면 소개해 주세요.
LLM을 PoC에서 실서비스로 확장할 때 가장 큰 비용 폭등 요인은 인프라, 특히 고성능 GPU 자원 비용입니다. 또한, 관리형 API 사용 시 예측 불가능한 토큰 사용량에 따른 과금이 서비스 규모가 커질수록 크게 증가합니다. 이를 통제하려면 모델 최적화, 인프라의 효율적인 배치 추론 및 오토스케일링, 그리고 토큰 사용량 최소화 전략을 통해 비용을 절감해야 합니다. 좀 더 상세한 답변이 필요하시면 웨비나 후 공유된 메일 주소로 문의 부탁드립니다.
아이티센 클로잇
2025-06-24 14:19
[질문] 예를 들어 전용회선 장애의 경우, 특정통신사의 어떤 문제로 인해 한꺼번에 많은 장애가 발생할 경우가 가끔있습니다. 그럴경우 대응우선순위를 자동적으로 정하여 중요순서대로 표시되어 처리할 수 있을까요?
어떤 상황인지는 확인이 필요한데요, 발표자에게 문의 주시면 협의 드리도록 하겠습니다.
바이텍씨스템
2025-06-19 15:13
[질문] 이상 탐지를 위해서 수집대상 로그 등이 장비,SW별로 표준화된 가이드가 있나요?
Splunk는 보안장비 또는 SW 별로 표준화된 App/Add-On 을 제공하고 있습니다.
바이텍씨스템
2025-06-19 15:11
[질문] 그 USE CASE에서 개인정보 오남용 부분에 대해서 탐지를 수행하신다는 내용과 관련해서 궁금한점이 있습니다. 여기서 개인정보 오남용에 대해서는 이상탐지를 수행하신다고 판단이 되는데 어떤 부분을 개인정보 오남용이라고 보시고 탐지를 하는 시나리오인지 궁금합니다. 어떤 자세한 시나리오구조라기 보다 이상탐지다보니 사실 이상치에 대한 정의가 중요한데 해당 정의를 어떤 관점으로 보시는지 AI로 다 커버가 되는부분인지 궁금합니다.
개인정보처리시스템에서 고객정보를 10분동안 10회 이상 조회 예시와 같이 탐지 하며 현재는 AI 적용은 되지 않습니다.
바이텍씨스템
2025-06-19 15:10
[질문] 보안 운영 중 여러 알림이 동시다발적으로 발생했을 때, 우선 대응해야 할 이벤트를 Splunk 내에서 자동으로 구분하고 분류하는 방법이 있을까요? 그 기준은 무엇으로 설정할 수 있나요?
일단 시나리오별로 위험등급을 정의하고 Critical 한 알림에 대해서 우선 대응 하고, 현재 로드맵으로 탐지 이벤트를 ML 을 이용하여 자동분류하는 기능은 구현 예정입니다.
바이텍씨스템
2025-06-19 15:09
아직 답변이 없습니다
[질문] ML 기반 예측을 넘어 생성형 AI 로 조치까지 적용될 수 있나요?
이부분은 아직 로드맵으로 Splunk AI Assistant 가 완료 될 경우 접목할 예정 입니다.
바이텍씨스템
2025-06-19 15:06