"AI 에이전트, 내 개인정보 노린다"
- AI 에이전트, ① 계획 및 추론 ②메모리 ③도구 활용서 개인정보 침해
- 외부 시스템 연동 시 개인정보 필터링, 전송 정보 최소화 보장 돼야
AI 에이전트 환경서 개인정보 침해 위험이 나타났다. 문제가 되는 AI 에이전트 개인정보 침해 위험은 ① 계획 및 추론 기능, ②메모리 기능, ③도구 활용 기능이다.
AI 에이전트 환경서 개인정보가 전달되는 일반 경로는 이용자 입력 및 계획 단계, 외부 애플리케이션과의 상호작용 단계, 응답 결과의 통합·정리 및 결과 출력, 이용자 상호작용 로그 저장 및 활용 과정에서 전달될 수 있다.
‘계획 및 추론’ 기능에 따른 개인정보 침해 위험
‘계획 및 추론(planning and reasoning)’은 AI 에이전트가 주어진 목표를 달성하기 위해 필요한 업무 흐름을 스스로 계획, 조정하면서 복잡한 문제를 해결할 수 있다. 과제를 단계별로 분석하는 '연쇄 사고(chain of thought)', 과거 행동을 반성하 고 오류를 수정하는 '자기-반성(self-critique)' 등의 기법이 구현된다.
그런데 고도화된 추론 기능은 LLM이 생성한 중간 결과 또는 결론에는 이용자로부터 명시적으로 제공받지 않은 성향, 행동 패턴, 심리 상태 등에 대한 암묵적 추론을 포함할 수 있다. LLM이 레딧(Reddit)의 게시글 만으로 이용자의 위치, 소득, 성별과 같은 속성을 85%의 정확도로 추론할 수 있다. 이처럼 이용자 입력서 포함되지 않은 정보라도, AI 에이전트 추론 과정을 통해 의도치 않게 노출될 수 있다.
‘메모리’ 기능에 따른 개인정보 침해 위험
AI 에이전트의 메모리 기능은 단기 메모리(short-term memory)와 장기 메모리(long-term memory)로 구분된다. 단기 메모리는 하나의 세션 혹은 대화 컨텍스트 창(context window) 내에서 유지되는 정보다. 반면, 장기 메모리는 개별 세션을 넘어 지속, 누적해 정보를 저장한다. 이용자의 과거 요청, 선호, 행동 이력 등을 축적하고, 이를 바탕으로 더욱 정교한 개인화 구현에 활용된다.
그러나, 이용자 정보를 장기적으로 저장, 재활용하는 과정서, 개인정보가 정당한 권한 없이 이용되거나 정보주체 기대와 달리 활용될 수 있다. 특히 장기간에 걸쳐 축적된 정보가 외부 공격이나 내부 유출로 인해 노출될 경우, 정보주체는 심각한 피해를 입을 수 있다.
이어 개인정보의 지속적 저장 및 재사용은 개인정보 보호법상 “최소 수집 원칙”에 위배될 소지가 있다. 애플(Apple), 구글(Google) 등 글로벌 빅테크 기업들은 개인의 캘린더, 이메일, 문서 등 개인 컨텍스트 데이터를 AI 에이전트에 통합하려는 시도를 본격화하고 있다.
그런데 이러한 데이터 활용은 정보주체가 과도한 맥락 정보 수집에 대한 통제권 행사가 어렵다. 현실적으로 동의 실효성이 제한적인 구조다. 또한 장기 메모리 기반 개인화는 자동화된 분석 및 프로파일링을 심화시켜, 정보주체의 개인정보자기결정권을 제한하고 사생활을 침해할 우려가 있다.
이 뿐만이 아니다. 장기 메모리 기능은 이용자를 지속적으로 관찰·기록·분석 기술기반으로 “감시 사회(surveillance society)” 기능을 할 수 있다. AI 에이전트는 이용자의 반복된 행동, 습관, 선호 등을 장기적으로 추적, 개인 미래 행동을 예측하거나, 행동을 통제할 수 있는 구조적 환경을 조성할 수 있다.
AI 에 이전트는 예상치 못한 감시자 역할로 기능하며, 개인의 행동과 표현을 위축시키는 ‘위축 효과 (chilling effect)’를 발생시킬 수 있다. 특히 기업 또는 국가가 AI 에이전트의 메모리 기능과 로 그 기록을 감시 인프라로 활용할 경우, 프라이버시 침해는 물론 민주적 질서의 훼손으로 이어질 수 있다. 이에 따라 에이전트 메모리 기능이 감시 구조로 악용되지 않도록, 투명한 기록 관리와 감사 체계의 확보가 필요하다는 의견이 제시되고 있다.
‘도구 활용’ 기능에 따른 개인정보 침해 위험
‘도구 활용(action and tool use)’ 기능을 통해 AI 에이전트는 외부 시스템과 직접 상호작용할 수 있는 실행 역량을 갖추게 된다.
그러나, 이러한 기능은 개인정보가 외부 애플리케이션으로 전송될 가능성을 증가시켜 새로운 프라이버시 위협을 초래할 수 있다. 특히 외부 애플리케이션을 호출하는 과정서 과도하거나 불필요한 개인정보나 민감정보가 그대로 전송될 수 있는 점은 심각한 우려를 낳는다.
GPT-4는 25.68%의 높은 유출률을 보였다. 이는 LLM이 프라이버시 규범을 ‘인식’하고 있어도, 실제 함수 호출이나 API 연동과 같은 ‘행위’ 단계서 규범을 적절히 적용하지 못하는 구조적 한계를 보여준다. 또한 외부 애플리케이션에 개인정보를 전달하는 과정에서 제3자 제공 또는 위탁 처리에 관한 법적 근거를 명확히 하고, 전달되는 개인정보 범위를 엄격히 통제할 필요가 있다.
한국인터넷진흥원의 '개인정보 이슈 심층분석'에서 김병필 KAIST 기술경영전문대학원 교수는 도구 활용 기능의 안전한 구현 위해 (1)외부 시스템과의 연동 시 개인정보를 자동으로 필터링하는 기능 내장, (2)전송되는 정보의 최소화 보장 (3) 연동 대상 시스템의 보안 수준 및 개인정보처리방침 검토 (4)애플리케이션 호출 이력과 상호작용 로그를 투명하게 저장·관리가 필요하다고 제시했다.
이와 같은 안전조치가 AI 에이전트의 실행 능력 고도화와 개인정보 보호 간의 균형 확보 핵심 조건이라고 강조했다.
Related Materials
- AI Agents Are Advancing—But Enterprise Data Privacy and Security ... - Cloudera, 2025년
- What the International AI Safety Report 2025 has to say ... - Private AI, 2025년
- AI Privacy Risks & Mitigations – Large Language Models (LLMs) - European Data Protection Board, 2025년
- Minding Mindful Machines: AI Agents and Data Protection Considerations - FPF, 2025년
CheifEditor
CheifEditor
