AI 에이전트 위험 대응하는 보안 체계 마련 필요

CheifEditor

10 Jun 2025 — 7 min read

[AI 에이전트 하이재킹 공격 원리<이미지: 금융보안원>]

금융보안원, AI 에이전트 보안 위협 보고서 공개

'에이전트 하이재킹', '도구 오염' 위협 상세 분석

AI 에이전트 기능을 가로채 악용, 사용 도구를 오염시키는 등 보안 위협에 대한 주의가 요구된다. AI 모델 등장으로 금융권 내 AI 에이전트 도입이 증가, AI 에이전트 위험이 커질 수 있기 때문이다. 이에 따라 AI 에이전트 위험 대응마련이 필요하다.

AI 에이전트는 사용자 의도에 따라 목표를 설정한 뒤, 환경을 분석하고 필요한 도구를 활용해 인간의 개입 없이 자율적으로 목표를 수행하는 AI 시스템을 의미한다. 기존 LLM 기반 AI가 정보를 제공해 사람의 판단과 결정을 지원했다면, AI 에이전트는 여러 가지 외부 도구를 통해 필요한 조치를 스스로 실행할 수 있다는 점에서 차이가 있다.

따라서, 안전한 에이전트 활용을 위해 AI 모델에 대한 위협뿐만 아니라 외부 도구 연동에 따른 위험을 고려해야 한다.

10일 금융보안원(원장 박상원)이 공개한 'AI 에이전트 보안 위협 보고서'에 따르면 AI에이전트 관련 주요 보안위협은 독립적 의사결정에 수반되는 위협과 공격 표면 증가에 따른 위협 등이 있다.

독립적 의사결정에 수반되는 위협
먼저 독립적 의사결정에 수반되는 위협이다. 이 위협은 AI 에이전트가 독립적으로 의사결정을 내리는 과정에서 조작되거나 거짓된 정보를 참조해 의도치 않은 행위를 수행하도록 유도하는 AI 에이전트 하이재킹 공격이 증가할 수 있다.

AI 에이전트가 사용자의 정당한 지시와 외부 데이터에 숨겨진 공격자의 악의적인 지시를 구분하지 못할 경우, 사용자 지시를 처리하기 위해 외부 데이터를 참조하는 과정에서 악의적인 지시를 사용자의 요청으로 착각해 수행할 가능성이 있다.

공격 표면 증가에 따른 위협
다음은 공격 표면 증가에 따른 위협이다. 이 위협은 AI 에이전트에 연동되는 도구의 수와 종류가 증가함에 따라 공격 표면이 확장되고 공격 발생의 가능성이 높다.

[기존 AI 시스템과 AI 에이전트 시스템의 공격 표면 비교<이미지: 금융보안원>]

한 예로 에이전트가 참조하는 도구 설명에 조작된 내용을 끼워 넣어 악성 행위를 수행하도록 유도가 가능하다. 일반적으로 사용자는 에이전트가 사용하는 도구 설명 전체를 확인하기 어려워 숨겨진 악성 행위를 식별하기 어렵다.

<위협 평가 바탕으로 보안 체계 마련 필요>
향후 금융권에 AI 에이전트가 도입이 본격화되어 이러한 보안 위협에 노출되면, 비정상적인 대출 승인, 공격자 계좌로의 자금 이체 등 직접적인 피해가 발생할 우려가 있다.

특히, 현재 법체계는 AI가 독립적으로 행동한 문제를 명확히 다루지 못해, AI 에이전트 행동에 대한 책임 소재도 불분명하다. AI 에이전트의 독립적 의사결정, 공격 표면 증가 등으로 인해, 기존 보안 체계로 충분한 검증·제어에 한계가 있다. 따라서 위협 평가 바탕으로 보안 체계를 마련이 필요하다.

< OWASP의 AI 에이전트 보안 위협 식별·평가 프레임워크 >
AI 에이전트 시스템의 작동 방식과 아키텍처 특성에 기반해 6단계로 위협을 평가한다.
1단계는 AI 에이전트의 자율적 의사결정 수준 ⇒ 에이전트가 목표를 스스로 계획하고 결정하는지 평가, 2단계는 AI 에이전트의 메모리 활용 여부 ⇒ 에이전트가 과거 정보를 기억하고 활용하는지 평가, 3단계는 AI 에이전트의 외부 도구 및 시스템 활용 여부 ⇒ 에이전트가 API, 코드 실행 등 외부 시스템을 호출하는지 평가, 4단계는 AI 에이전트의 인증 수준 ⇒ 에이전트가 사용자/도구/에이전트 인증 체계를 사용하는지 평가, 5단계는 AI 에이전트의 행동에 인간 개입 여부 ⇒ 에이전트 행동 전 인간 검토나 확인 절차를 포함하는지 평가, 6단계는 다중 에이전트 활용 여부 ⇒ 여러 에이전트가 협업 또는 분업하는지 평가다.

기본적으로 AI 에이전트의 의사결정 과정을 기록·추적하는 체계 구축, 사람의 검토·승인 절차 도입, 최소 권한 부여 및 관리, 요청 작업에 대한 실시간 모니터링 및 검증 등이 필요하다.

특히, MCP(Model Context Protocol)를 활용한 에이전트 구현이 활발해지면서 다양한 도구가 자유롭게 개발․공유되고 있어, 앞으로 신뢰할 수 있는 도구만 사용하는 등 각별한 주의가 요구된다. MCP는 2024년 11월 앤트로픽이 오픈소스로 공개한 프로토콜로 AI 모델이 외부 도구 등과 연계되어 더 많은 작업(이메일 발송 등)이 가능하도록 지원하는 개방형 표준 규격이다.

금융보안원은 "금융회사가 AI 에이전트의 자동화 편의성을 적극 활용하는 동시에, 잠재적 보안 위협을 충분히 인지하고 종합적인 AI 보안 체계를 구축할 수 있도록 지속적으로 지원할 계획"이라고 밝혔다.

. AI 에이전트 악용한 공격 주의…"새 보안체계 필요", 디지털데일리, 2025.6.10
. AI 에이전트 시장: 2024~2030 성장 궤적 한눈에 살펴보기, Goover, 2025.4.2
. AI 검색 에이전트의 부상과 보안 위협 대응방안, 한국지능정보사회진흥원, 2024
. AI 에이전트의 도래, 기업과 정부는 어떻게 대응할 것인가, 산업연구원, 2024
. 2025년 기업 82% 'AI 에이전트' 도입한다…시장규모 471억 달러 전망, AIMatters, 2025.4.1
. AI 에이전트 시대와 AI 활용 패러다임의 변화, 지역정보화, 2024.1.1
. 에이전트 AI의 부상: 2024년 회고와 2025년 예측, Unite.AI, 2024
. 지능형 기술의 새로운 패러다임, AI 에이전트, 삼성SDS 인사이트리포트, 2024