👉 수요레터 구독하기

AI 에이전트 사용에 주의해야 할 3가지 관점

안녕하세요, 촌장입니다. 요즘 가장 핫한 테크 이슈는 ‘AI 에이전트’입니다. AI가 알아서 이메일을 대신 써주고, 회의 일정을 조정하고, 쇼핑까지 해결해주는 시대가 곧 열릴 것 같습니다. 진짜 똑똑한 비서가 내 옆에서 밤새로도록 일하는 광경은 생각만해도 짜릿합니다. 하지만 정말 곧 그렇게 되는 걸까요? 정말 우리는 AI에게 일을 통째로 맡겨도 되는 걸까요? 오늘 수요레터에서는 AI 에이전트 적용에 주의해야 할 3가지 논점을 살펴볼까 합니다.

하나, 작은 실수가 쌓이면 어떻게 될까?

최근 비즈니스 인사이더에 AI 에이전트에 대한 현실적인 문제점을 다룬 기사를 소개했습니다. 이 기사에서는 AI 에이전트는 아직 오류 투성이라고 결론 짓고 있는데요. AI 에이전트는 여러 단계를 거쳐야 하는 복잡한 업무를 맡아 진행합니다. 문제는 이런 워크플로우에서 AI의 작은 오류가 계속 쌓일 수 있다는 겁니다. “단계별 성공률이 80%인 작업을 100단계 수행하면, 최종 성공 확률은 고작 0.25% 밖에 되질 않는다.”라고 비즈니스 인사이드에서 지적하고 있죠. 작은 실수 하나가 결국 전체 작업을 망가뜨리는 구조인데, AI 자체의 신뢰성의 문제가 AI 에이전트에서는 누적된 오류로 나타나게 됩니다. 관련된 실제 사례도 소개됐는데요. 어떤 스타트업은 AI 에이전트로 고객 이메일을 자동 처리했는데, 중요한 이메일을 스팸으로 분류하고하기도 했고, 동문서답을 하고, 잘못된 금액을 청구하는 일도 잦았다고 합니다. 고객 문의를 AI 에이전트가 응답했지만, 단순한 질문조차 제대로 처리하지 못해 고객을 더 혼란스럽게 만든 경우도 발생하기도 했구요. 결국 상담원들이 프로세스에 다시 개입할 수 밖에 없었습니다. AI 에이전트를 동작시키는 것이 마치 자동화된 시스템의 버튼만 누르는 것처럼 보이지만, AI의 작은 오류 하나가 어떻게 잘못된 실수들로 이어질 수 있는지를 보여주고 있습니다. 이런 오류를 줄이고 AI 에이전트를 실제 업무에 투입하기 위해서는 플로우 단계별 점검 체계를 잘 만드는 것이 중요헤 보입니다.

둘, 아직은 훈련된 자동화 도구일 뿐

비슷한 지적이 WIRED 팟캐스트에서도 소개가 되었는데요. WIRED 수석 작가인 Will Knight는 “AI 에이전트는 지금 단계에서 인간 없이 내버려두면 반드시 실수를 범한다”라고 지적했습니다. 복잡한 프로세스 상황에서는 AI가 엉뚱한 방향으로 흘러가거나, 예상치 못한 오류가 잦다는 한계가 있습니다. 인간이 쉽게 판단할 수 있는 상황도, 아직까지는 에이전트에게는 큰 장벽이 될 수 있죠. 특히 여러 시스템과 연결되어 있는 환경에서는 작은 오류 하나가 시스템 전체의 문제로 확산되기 쉽다는 경고를 하고 있습니다. 비즈니스 인사이드와 비슷한 이야기죠. 결국 아직까지 AI 에이전트는 매우 제한적으로 사용되어야 한다고 정리할 수 있을 겁니다. 또 하나 중요한 것은 결과만을 중요하시는 프로세스를 AI 에이전트에게 할당하는 것은 시기상조라는 점입니다. AI 알고리즘의 근본적인 이슈는 왜 이런 대답을 했는지에 대한 과정을 명확히 설명할 수 없다는 점입니다. 결과만 좋으면 과정은 상관없다는 태도는 비즈니스 전략에 치명적인 결함을 일으킬 수 있습니다. 고객 대응 프로세스를 담당하는 AI 에이전트가 피상적인 결과만을 명령받아 수행하다가 발생할 수 있는 상황들을 가정해 보시죠. 기업의 철학과 비즈니스 매너를 AI 에이전트에게 이해시키기고 그에 맞는 행동과 업무를 진행시킨다는 것은 쉬운 일이 아닙니다. AI 에이전트의 한계를 정확히 이해하는 것이 필요합니다.

셋, 보안은 더 심각한 듯

여기에 최근엔 보안 리스크까지 본격적으로 떠오르고 있습니다. 최근 세일포인트의 ‘AI 에이전트: 보안의 새로운 공격 표면’이라는 보고서에 따르면, 전 세계 보안·IT 리더 82%가 이미 AI 에이전트를 사용하고 있다고 합니다. 그런데 절반 이상의 기업이, AI 에이전트가 승인되지 않은 시스템에 접근하거나 민감한 데이터를 부적절하게 공유하는 사례를 겪었다고 밝히고 있죠. 심지어 23%는 AI 에이전트가 자격 증명을 유도당해서 외부로 데이터를 유출한 경험도 있다고 답했습니다. 72%의 응답자는 AI 에이전트가 기존 머신 아이덴티티보다 더 큰 보안 위협이라고 보고 있다고 합니다. 이유는 명확하죠. AI 에이전트가 너무 많은 시스템과 데이터에 접근하기 때문입니다. 게다가 권한 승인 절차 없이 빠르게 권한이 부여되는 경우가 많아, 위험을 키우고 있습니다. 하지만 더 큰 문제는 관리 체계가 턱없이 부족하다는 점입니다. 보고서에 따르면, 응답자의 92%가 AI 에이전트 거버넌스의 중요성을 인식하고 있지만 실제로 관련 정책을 마련한 기업은 절반도 안된다고 합니다. 심지어 기업 48%는 에이전트가 어떤 데이터에 접근했는지조차 추적하지 못하는 상태였습니다. 보고서에 의하면 기업들이 가장 우려하는 보안 위험으로는 특수 권한이 필요한 데이터 접근, 의도하지 않은 작업 수행, 부적절한 데이터 공유, 검증되지 않은 데이터 기반의 의사결정 등이 꼽혔습니다. 내부자에 의한 악의적 유출과 외부 해킹 위험도 여전히 존재합니다. 보고서에서는 “AI 에이전트 역시 인간처럼 엄격한 거버넌스 아래 관리돼야 한다. 실시간 권한 관리, 최소 권한 원칙, 활동 모니터링이 반드시 필요하다” 라고 강조하고 있습니다.

AI 에이전트를 사용하기 전에 체크해야 할 것들

이쯤에서 한 번 정리해 볼까요? AI 에이전트가 안고 있는 기술적 한계와 이슈들은 이렇습니다.

• 첫째, 기술적 한계 대부분의 에이전트는 아직 정해진 스크립트와 규칙에 의존합니다. 복잡한 상황에선 오류가 발생할 한계를 가지고 있습니다.
• 둘째, 비용 문제 겉으로는 단순한 자동화 프로세스같지만, 실제로는 막대한 연산 비용이 들어가게 됩니다. AI 에이전트가 복잡할수록 컴퓨팅 자원과 비용이 기하급수적으로 늘어나는 문제가 있습니다.
• 셋째, 보안 리스크 AI 에이전트는 민감한 정보를 다루는 경우가 많아 해킹이나 데이터 유출 가능성이 항상 뒤따릅니다. 내부 정보에 대한 접근 권한 관리가 어렵다는 점도 AI 에이전트 사용에 커다란 리스크가 됩니다.
• 넷째, 법적·윤리적 리스크 AI 에이전트가 잘못된 결정을 내렸을 때 책임 소재가 불명확합니다. 특히 외부 시스템과 연결되는 경우, 법적 문제로 이어질 가능성도 크다고 할 수 있습니다.

체계와 전략을 세우자

AI 에이전트는 분명 혁신적인 기술이 분명합니다. 반복적이고 시간 소모가 큰 업무를 효율적으로 처리하고, 사람 대신 복잡한 과정을 자동화할 수 있다는 점에서 앞으로 많은 분야에서 활용이 확대될 가능성이 큽니다. 지금 드러난 기술적 한계나 보안 위험은 결국 기술의 성숙 과정에서 어쩔 수 없이 거쳐야 할 단계일지도 모릅니다. 하지만 그렇다고 해서 지금처럼 막연한 기대만으로 AI 에이전트를 무조건 받아들이는 건 위험하겠죠. 담당자들은 AI 에이전트가 할 수 있는 일과 없는 일을 명확히 구분해야 하고, AI의 플로우를 통제하고 관리할 수 있는 체계를 갖춰야 합니다. 결국 중요한 것은 AI 에이전트에 맞는 업무 부분을 찾고, 이를 안전하고 효율적으로 운영할 수 있는 프로세스를 착실히 만들어가는 일일 것입니다.
 

그리고 어쩌면 실제 사람 직원에 대한 관리 방법을 AI 에이전트에게도 적용해야할 시점이 오지 않을까 생각도 듭니다. 급여는 주지 않지만 말이죠.

촌장 드림

👉 수요레터 구독하기