👉 수요레터 구독하기

 

 

AI 보안과 안보가 왜 심각한가?

 

 

 

오늘은 AI 보안에 대한 얘기를 해보려고 합니다.

 

최근 오픈AI의 챗GPT-5 가 출시되면서 AI 성능에 대한 시장의 기대가 다시 또 고조되고 있는 것 같아요. 물론 아직 출시 초기라서 여러 문제점들도 보고되고 있기도 해요. 오픈AI에서 이전 4.5 버젼으로 다시 돌릴 수 있는 옵션도 제공하겠다고도 하고. 암튼 최종적인 성능 안정을 위해서는 시간이 필요할 것 같습니다. 하지만 확실히 중요한 특징은 내부 라우터 기능을 통해 사용자의 의도에 맞춰 최적의 AI 모델을 선택해서 답변을 줌과 동시에 AI 인프라 운영 효율성도 높힐 수 있다는 측면에서 이번 5 버젼이 이전보다 확실히 업데이트되었다고 볼 수 있을 겁니다. 그럼에도 불구하고 AI 발전에 대한 경고의 메시지도 끊임없이 이슈화되고 있는 것도 사실이죠.

 

최근 새정부의 초대 AI 미래기획수석으로 임명된 하정우 수석과 국내 1세대 AI 전문가인 한상기 박사가 함께 대담 형태로 풀어낸 을 읽었습니다. 논리적으로 이슈를 정리한 책이라기 보다는 현안들을 빠르고 간략하게 풀어내고 그 의미를 짚어내는 형태로 구성되어 있습니다. 아주 쉽게 읽히기도 하고, 최근의 AI 현안들을 빠르게 체크할 수 있는 유용한 책이란 생각이 들었는데요. 그 중에서 특히 'AI 안보와 안전'에 대한 챕터가 흥미로왔습니다. 오늘 <수요레터>에서는 해당 챕터에 대한 얘기를 정리해 볼까 합니다.

 

 

AI 안전에서 안보로

 

먼저 AI 안전 (Safety)이라는 개념이 AI 안보(Security)의 개념으로 변하고 있다는 얘기부터 시작해 봅니다. 먼저 두 가지 개념이 무엇을 의미하는지부터 살펴볼까요?

 

AI 안전은 AI의 투명성, 편향성, 설명 가능성, 오작동 가능성 등 주로 AI 모델 내부적인 이슈를 다루는 부분이라고 한다면,

AI 안보는 AI 모델 자체의 이슈 뿐 아니라, 이를 포함한 전체 시스템의 보안과 안정성에 관련된 내용을 다루고 있다는 차이점이 있습니다.

 

AI 이슈가 안전이라는 측면에서 점점 더 안보의 차원으로 넘어가고 있고 이런 위협이 실제적인 아젠다로 등장하고 있다고 보여집니다. 그래서 AI 자체가 안전하게 동작하는 지를 검증하는 단계를 넘어서 AI가 사회의 시스템에 연결되고 통합되었을 때 발생할 수 있는 신뢰과 안정성 측면으로 AI를 제어하고 검토해야하는 한다는 당위성이 올라가고 있고, 이에 대한 연장선으로 AI 에 대한 사이버 보안 전략이 매우 중요해 졌다고 보고 있습니다. 사실 점점 더 보안 사고와 이슈들이 많아지고 있는 상황에서 AI 에 대한 사이버 보안 이슈까지 덧붙여진다면 관련 이슈가 어마어마해질 것 같습니다. 걱정입니다.

 

올해 1월에 <국제 AI 안전 보고서>가 발표되었습니다. 여기에서 AI의 안정성과 보안에 대한 내용을 크게 3가지로 분류하고 있는데요.

 

• 악의적 사용
• AI 오동작의 위험
• 사회 전체 영향을 미치는 시스템의 리스크

 

이 중에서 가장 이슈가 되는 내용은 앞서 AI 안보의 개념에서도 설명한 사회 전체 영향을 미칠 수 있는 시스템의 리스크입니다. 특히나 최근 AI 에이전트 얘기가 많이 나오고 있죠. 멀티 에이전트 시스템으로 AI가 확산되고 진회되면 AI 의 영향력의 범위를 한정짓거나 관련된 영향력을 예측하기가 더욱 어려워집니다. 여기서 발생할 수 있는 시스템의 리스크는 정말 관리하기 어려워집니다. AI가 사회 기간망과 연결되어 있다고 생각하면 특히나 아주 심각해 지는 거죠.

 

무엇보다 CBRN 이라는 도메인이 중요합니다. CBRN은 Chemical, Biological, Radiological, and Nuclear 의 약자로 화학, 생물학, 방사능, 핵무기를 뜻하는 것으로 인류의 존망에 직접적인 관련이 있는 영역입니다. 이런 CBRN 분야에 AI 가 악용될 경우 발생할 수 있는 심각한 위협을 미리 대처해야 한다는 위기감 때문이라 하더라도 AI 안보는 더욱 중요해 지고 있습니다.

 

 

AI 규제

 

AI 에이전트 얘기를 좀 더 나눠볼까요. AI 진화의 방향은 확실히 AI 에이전트 입니다. AI 가 스스로 판단해서 실제 실행까지 수행하도록 발전되어 가고 있습니다. 여기에 AI 에이전트끼리 서로 연결되면서 더욱 복잡하고 다양한 태스크를 AI 자체적으로 처리하는 단계로 나아가고 있습니다. 대부분의 AI 기업들과 미국과 중국을 중심으로 한 AI 패권국가들이 AI 에이전트의 발전을 강하게 드라이빙 하고 있습니다. 이런 상황에서 사실 규제는 뒷전으로 밀쳐져 있는 것이 현실이죠. 트럼프 정부에 들어서면서 더욱 이런 방향으로 흘러가고 있습니다.

 

그래서 안전장치를 먼저 마련하고 그 다음 개발을 진행해야 한다는 주장이 점점 힘을 잃어가고 있는 상황입니다. 안타까운 상황이기도 하지만 그런데 사실 이런 일방적인 규제 강화가 현실성이 부족한 얘기라는 부분도 인정은 해야 합니다. 모두가 경쟁의 레이스에 달려가는데 규제만을 외칠 수는 없는 노릇이죠. 그래서 최근 EU도 관련된 규제보다는 각자 생존을 위한 AI 발전 방향으로 강하게 그립을 감고 있는 모습을 보이기도 합니다.

 

저자들은 CBRN 처럼 고위험 분야와 일반 분야로 구분하고 나눠서 AI를 관리하는 게 보다 현실적인 방안이라고 주장하고 있습니다. 도메인별로 위험도가 높은 영역에서 AI가 적용할 때에는 보다 타이트한 규정을 세워두고 그 가이드 내에서 AI를 도입하도록 하고, 다른 위험도 낮은 도메인은 좀 더 자유롭게 AI를 허용해서 관리하자는 내용입니다.

 

그런데 규제의 당위성에 대해서 우리가 놓치면 안될 부분이 있습니다. 미국과 중국이 주도하는 AI 경쟁 속에서 만들어지는 규제의 테두리가 자칫 이를 선점한 이들의 독점 체제를 더욱 공고히 하는 방향으로 흐를 수도 있다는 점입니다. 핵확산조약 같은 국제 협약이 그렇습니다. 핵으로 인한 인류 멸망과 파국을 막자는 기본 취지는 공감하지만, 이미 핵을 보유한 국가와 그렇지 못한 국가를 영구히 구분해서 자신들만의 보안을 점점 더 확고히 하는 형태로 운영되고 있는 측면도 분명히 있습니다. AI에 대한 규제와 규약도 이런 방향으로 흘러갈 수도 있기 때문에, 사실 우리가 이러한 국제적인 AI 규제 논의에 초기부터 관여하고 우리의 지분을 확보하는 것이 매우 중요하다고 두 저자들은 강하게 주장하고 있습니다. 그런 측면에서 우리만의 AI 기본 역량을 키우는 것이 매우 중요하다고 강조합니다.

 

어떤 전문가들은 AI 기본 모델을 자체적으로 구축하고 개발하기엔 너무 늦었으니 선진 모델들을 활용하여 최적화하거나 실제 업무에 효과적으로 애플리케이션하는 부분에 역량을 투입하는 것이 보다 현실적이라고 얘기하기도 합니다. 틀린 얘기는 아니지만, 앞서 얘기했던 AI 패권을 둘러싼 국제적인 경쟁 상황을 고려해 보면 좀 나이브한 의견이라는 생각도 듭니다. 늦었지만, 지금이라도 자체 모델 확보와 경쟁력 구축이 소버린 AI 전략을 성공적으로 만들어가는 가장 핵심이 될 수 있습니다.

 

 

노동의 문제

 

역시 가장 걱정되는 분야 중 하나가 AI로 인한 노동 시장의 변화입니다. 두 저자 역시 노동에 대한 사회적 이슈가 앞으로 크게 대두될 것으로 걱정하고 있습니다. 두 가지 포인트가 중요한데요.

 

하나는 AI 도입으로 인해 업무의 효율성이 극대화되면 기존 인력은 보다 더 여유로운 노동 환경에서 일하게 될 수 있을까라는 점에 대한 의문입니다. 업무 효율성이 높아져서 기존의 단순 반복적인 업무들은 AI에게 맡기고 자신은 보다 중요하고 창의적인 업무에 집중할 수 있다는 게 AI 도입의 가장 핵심적인 요인일텐데요. 하지만 기업 입장에서는 업무 효율이 높아진 만큼 더 많은 성과를 기대하게 되지 않을까요? 말 그대로 KPI 가 200%, 300% 올라가는 겁니다. 그러면 결국 담당자는 훨씬 더 많은 일을 하게 될 가능성도 충분히 있지 않을까요? AI가 도입되었으니 자신은 좀 더 편하게 일할 수 있다는 생각은 착각일 수 있다는 지적. 아주 따갑고 서늘합니다.

 

또 다른 하나는 주니어 레벨의 몰락입니다. AI 는 결국 단순 반복적인 업무에 최적화되어 있습니다. 이런 종류의 업무는 보통 주니어 레벨이 담당하는 경우가 많은데 결국 이 영역에서의 시장의 니즈가 급감할 수 있을 것입니다. 청년 취업의 문제는 아주 심각해질 가능성이 높습니다. 스킬업을 위해서는 단계를 밟아가야 하는데, 위로 올라갈 수 있는 사다리가 끊겨 버리는 겁니다.

 

결국 이런 사회적 이슈를 해결하기 위해서는 AI 도입으로 추가로 창출된 부가가치가 소비자 또는 취약 계층에게 나눠지고 공유될 수 있는 사회적이 기반을 검토하고 마련하는 제도가 필요하다는 주장입니다. 저자들은 세금을 통한 해결책보다는 펀딩 제도를 활용하여 기업 스스로 참여하고 인센티브를 통해 자발적으로 분배될 수 있는 시스템을 도입하자는 의견을 제시합니다. 사실 이런 펀딩 프로그램의 그림이 잘 그려지지는 않습니다. 그리고 이에 대한 사회적 합의를 도출하는 일도 참 고단한 일이 될 것 같습니다. 하지만, 구체적인 문제가 사회적으로 도드라지기 전에 미리 준비하고 대비해 두어야하는 당위성만은 아주 아주 공감하게 됩니다. 결국 AI도 사람을 위해 존재해야 하는 거니까요.

 

 

AI와의 공존

 

AI가 없는 세상을 상상하기 힘든 날이 조만간 오리라 보고 있습니다. 스마트폰이 없는 일상을 상상할 수 없듯이 AI가 없는 생활이 불가능해지는 시대가 올 것입니다. 결국 AI와의 공존이 시작되는 것인데, AI 네이티브 세대가 등장함으로써 AI에 중독되는 현상이 나타날 수 있을 것입니다. 여러 긍정적인 요소가 있음에도 불구하고 예상되는 문제점들은 한 두가지가 아니죠.

 

먼저 체크해 봐야할 것은 감정적인 혹은 사회성이라고 부를 수 있는 영역입니다. AI 알렉사를 교육에 도입한 미국의 사례가 있습니다. 아이들은 편하게 어떤 질문이든 할 수 있고 알렉사는 전혀 귀찮은 내색 없이 어떤 질문에도 친절하고 구체적으로 답변을 하기 때문에 교육적인 성과가 있다고 볼 수도 있겠지만, 사회성의 측면에서 보면 상대방에 대한 배려심을 전혀 고려하지 않아도 되는 심성이 만들어질 수 있다는 문제도 부각되었다고 합니다. 어떤 질문을 해도 귀찮아하지 않는 AI와 오랫동안 교류하다보면 당연히 필요한 상대방에 대한 배려와 같은 기본적인 관계성이 문제가 될 수도 있는 거죠. 오롯이 자신만을 위하고 자신만을 사랑하는 AI 동반자가 곁에 있다면 무엇하러 친구를 만나고 이성을 만나 교제하고 결혼하고 그 험난한 과정을 거쳐야 하는가 하는 의구심이 들 수도 있는 거죠. 한상기 박사는 터미네이터 영화 같은 디스토피아보다는 점진적으로 인류의 사회성이 무너져 가면서 서서히 침몰해 가는 다크 시나리오가 오히려 현실성이 있을 것 같다고 얘기하기도 합니다. AI와의 공존 참 어렵습니다.

 

또 하나는 AI 중독입니다. 쇼설네트워크 중독 때문에 여러 사회적인 이슈도 많지만 AI 중독이 불러올 상황에 비할 바가 못됩니다. 우리의 모든 일상 속에 아주 깊숙하게 AI가 들어오게 되면 AI 없이는 하루도 살기 어려운 상황에 빠릴 수도 있죠. 이렇게 되면 AI의 선택과 판단에 모든 것을 맡기게 되는 상황이 올 수도 있습니다. 처음에는 AI 답변과 가이드에 의문을 가지게 되지만 점차 AI에 대한 신뢰가 높아지고 나중에는 AI의 결정에 오롯이 자신의 판단을 맡겨버리게 됩니다. 주객이 전도되는 상황입니다. 헤겔의 변증법 얘기가 나옵니다. 주인과 노예의 관계가 나중에는 뒤바껴 버린다는 건데요. 인간과 AI 와의 관계 정립이 공존에 반드시 필수적인 요소가 되어야 합니다. 다시 한번 강조하지만, AI는 인간을 위해 존재할 때 그 가치가 있습니다.  

 

 

AI의 주도권을 놓쳐서는 안된다

 

이 밖에도 오픈소스 AI 에 대한 문제, AI 얼라인먼트, 즉 투명성에 대한 이야기 등등 AI의 안전과 보안에 대한 이야기들이 다양하게 펼쳐집니다. 최근에 정신없이 쏟아지고 있는 AI 뉴스와 이슈들에 무턱대고 따라가기 보다는 한번 이렇게 전체적인 내용들을 확인하면서 AI에 대한 개념과 흐름을 정리해 보는 시간을 가져보는 것도 꼭 필요할 것 같네요. 특히나 AI 미래기획수석으로 뽑혀 한국의 AI 발전의 큰 그림을 그려나갈 책임자의 생각을 엿보는 것도 이번 책을 읽는 큰 의미가 될 수 있을 것 같습니다.

아무쪽록 많이 늦었지만 우리의 AI 발전이 여러 이슈에도 불구하고 빨리 성장하고 발전하며 관련된 국제적 논의에 중요한 한 축으로 자리매김해야하지 않을까 싶습니다.

 

촌장 드림

 

 

 

 

👉 수요레터 구독하기