[칼럼] AI 보안, 국가 안보 제2 K방산

CheifEditor

25 Jun 2025 — 9 min read

[이미지: AI Generated by TheTechEdge]

LLM만 키울 것인가, AI 보안은 누가 지킬 것인가

[칼럼 최대선 숭실대학교 AI안전성연구센터 센터장] 2025년 6월 4일, 신정부가 공식 출범했다. 출범 직후 발표된 ‘AI 대전환’ 전략과 ‘모두의 AI’ 프로젝트는 파운데이션 모델, AI 반도체, 데이터센터 등 초거대 AI 생태계 구축을 목표로 한다. 정부는 정예 개발팀을 공모하고, 인프라 구축과 LLM 중심의 연구개발에 막대한 재정을 투입하고 있다.

대한민국이 AI 기술 주도권 경쟁에 본격적으로 진입했음을 알리는 신호다. 하지만 이러한 전략에서 빠진 결정적 축이 있다. 바로 ‘AI 보안(Security for AI)’이다. 지금 우리는 AI를 만들고 키우는 데는 집중하고 있지만, 그 AI가 공격받거나 오작동할 수 있다는 가능성에 대한 대비는 거의 없다. AI 보안은 여전히 정보보호, 개인정보, 사이버보 안 등 기존의 법제 안에 부속적으로 다뤄지고 있을 뿐이다.

현실은 이미 달라졌다. AI는 더 이상 단순한 소프트웨어가 아니라, 공공 시스템과 국가 기반 인프라를 직접 제어하 는 ‘행위자’로 진화하고 있다. 딥페이크, 백도어, 적대적 입력, 프롬프트 인젝션, 데이터 중독 등 AI 고유의 공격은 이미 실전화되고 있다.

특히 AI가 공공행정, 의료, 교통, 국방 등 핵심 인프라에 본격 적용되기 시작한 지금, AI 보안은 단순한 기술 문제가 아니라 국가 기능 전체의 존속과 직결되는 안보 문제다. 만약 의 료 AI의 진단 알고리즘이 교란된다면 생명을 위협하는 오진이 발생할 수 있고, 교통 시스템 을 조작당하면 도시 전체가 마비될 수 있다.

군사 분야에서는 자율 무기의 판단이 오작동할 경우, 오폭이나 명령 불이행 같은 작전 통제력 상실 사태로 이어질 수 있다. 전력망과 수자 원 시스템은 단 몇 분 만에 정전·단수로 확산되어 사회 혼란을 일으킬 수 있다. 공공 행정에 사용되는 LLM 기반 시스템이 조작될 경우 기밀 유출이나 정책 혼선이 발생할 수도 있다.

Sovereign AI를 지키는 건 보안이다.

현재 정부는 ‘Sovereign AI’를 키우겠다고 선언하고 있다. 자국의 데이터, 자국의 언어, 자국의 통제력을 바탕으로 한 독자 파운데이션 모델을 확보하 겠다는 목표다.

그러나 Sovereign AI는 AI 기술만으로는 완성되지 않는다. 보안이 빠진 Sovereign AI는 외부 공격에 가장 먼저 무너지는 ‘무방비 자산’일 뿐이다. 진정한 Sovereign AI는 안정성과 신뢰성, 즉 AI 보안이 함께 내재화될 때에만 실현 가능하 다. 따라서 보안 기술을 확보하지 못한 Sovereign AI는 전략이 아니라 환상에 불과하다.

해외는 이미 AI 자체의 보안을 전략으로 보고 있다.

미국은 NIST 산하에 AI 보안 표준센터(CAISI)를 설립해, AI 모델의 백도어 탐지, 적대적 입력 대응, 프롬프트 안정성 검증 등 AI 자체에 대한 보안 평가와 기술 표준화를 수행 중이 다. AI 위험관리 프레임워크(AI RMF)도 보안 위협을 중심으로 개편되고 있다.

영국 역시 AI Safety Institute(AISI)를 통해 모델 위협 시나리오, 안전성 테스트, 정책 권 고 체계를 운영 중이다. 이들은 단지 ‘AI를 개발하는 나라’가 아니라, 신뢰 가능한 AI 시스 템을 보유한 나라로서의 전략적 위상을 확보하고 있다.

지금 필요한 건, ‘AI 보안 파운데이션 프로젝트’

정부는 LLM을 키우고 있다. 그렇다면, 그 모델이 안전하게 작동하도록 만드는 기술도 함께 키워야 한다. 지금 필요한 것은 ‘AI 보안 파운데이션 프로젝트’다. 이는 단순한 R&D가 아니라, 적대적 입력, 백도어, 프롬프트 인젝션, 모델 파라미터 조작에 대응하는 보안 기술 확보 정예 연구팀 육성 및 전용 R&D 예산 확보 공공기관 중심의 테스트베드 구축 CAT, ISMS-AI 등 기존 인증 체계와 연계된 보안 인증 기준 개발 글로벌 기준 기반 수출형 보안 기술 패키지 개발을 포함하는 국가 전략 사업이 돼야 한다.

AI 보안은 제2의 K-방산이 될 수 있다.

AI 보안은 단순히 기술을 지키는 일이 아니다. 이는 자국이 반드시 보유해야 할 전략 기술이며, 그 의미에서 방위산업과 동일한 성격을 가 진다. 군사 장비를 수입하지 않고 스스로 개발·운용해야 하는 것처럼, AI가 통제하는 사회 인프라 와 공공 시스템도 타국 기술에 의존해서는 국가 기능 자체가 위협받을 수 있다.

따라서 AI 보안 기술은 국가 안보의 관점에서 반드시 내재화돼야 하며, 이를 기반으로 신뢰 가능한 AI 시스템과 보안 프레임워크를 함께 수출할 수 있다면, AI 보안은 '제2의 K-방산'으로 도약할 수 있는 차세대 전략 산업이 될 수 있다. AI 보안은 선택이 아니다. 지금 우리가 지켜야 할 전략이고, 앞으로 우리가 주도해야 할 산업이다. AI 보안을 키우는 나라만이 진짜 AI 강국으로 살아남는다.