웨비나속 Q&A

Copilot은 Microsoft Graph를 통해 조직의 데이터에 접근을 하게 되며, 프롬프트 처리 및 응답 생성을 위해 LLM이 해당 데이터를 사용합니다. 하지만 Copilot를 사용하면서 문서나 메일 등 접근하게 되는 조직의 데이터는 LLM 학습에는 사용되지 않습니다.

[질문]실험 결과를 확인하기 위해 코파일럿에 입력데이터로 넣을 경우에는 어떻게 되나요?

입력하신 데이터는 해당 채팅 세션 동안만 사용이 되며, 채팅 데이터는 저장이 되지 않기 때문에 새로운 채팅 세션을 생성하면 Copilot은 이전에 입력한 데이터에 대해 알 수 없습니다.

보안상 유의할 사항이라고 한다면, 먼저 데이터에 대해서 걱정이 있으실 것 같습니다. 구글 클라우드에서는 데이터가 외부에 노출되지 않도록 여러 보안 솔루션이 있습니다. 유의할 사항에는 여러가지가 있겠지만 가장 자주 발생하는 사례에 대해서 말씀드리자면, 생성형 AI 활용을 위해서 클라우드에 데이터를 업로드 하실 수 있습니다. 이 때 Google Cloud에서 API를 호출하기 위한 Key를 발급 받으시는 경우가 있는데요. 이 Key가 외부에 노출 되었을 때, 키를 가진 사용자가 데이터에 접근할 수 있기 때문에 그에 맞는 정책 설정이 필요합니다.

Ideation으로 경쟁력을 확보할 수 있다고 말씀드린 부분은 이 모델을 기업의 어떤 분야에서 활용하여, B2C를 할 수 있을지에 대해서 말씀드린 부분입니다. 아무래도 자료를 참고하시는 것보다 최신 LLM 기술 동향과 서비스들에 대해서 많이 찾아 보시는게 중요합니다.

아키텍처와 사례에 따라서 다를 것 같습니다. 여러 대 사용하는 부분에 대해서 말씀을 드리면 현재 여러 생성형 AI를 사용해서 답변을 도출하는 부분은 많이 사용하고 있는 사례입니다.

현재 구글 클라우드에서 사용하는 Gemini의 경우에는 Foundaiton model이 학습하지 않는 안전한 모델입니다. 학습은 구글 클라우드의 Vertex AI Studio에서 PEFT, RLHF, Distillation과 같은 Fine-Tuning을 지원하고 있습니다.

클루커스는 현재 AOAI, Google Cloud Generative AI, Hyperclovar X 등 여러 생성형 AI에 대한 기술 지원을 하고 있습니다. 또한, 고객 분들의 생성형 AI 도입을 위한 Ideation 미팅과 PoC, 프로젝트 진행 시 운영에 대한 부분을 지원해드리고 있고, 필요하시다면 교육적인 부분도 지원 드리고 있습니다. 다른 훌륭한 기업들도 있지만, 저희 클루커스에서는 다양하고 폭넓은 지원을 하고 있습니다. 생성형 AI 도입을 고려하고 계신다면 문의 해주세요.

먼저 최신 LLM 기술 동향과 서비스들에 대해서 많이 찾아 보시고 기업의 데이터에 어떻게 접목할 수 있을지 천천히 생각해보시면 좋을 것 같습니다. 혹은 저희 클루커스의 생성형 AI 컨설턴트와 소통이 필요하시다면 클루커스로 문의 부탁드리겠습니다.