TTESays

[Hackyboiz 해킹짹짹 x TTE] 당신의 ‘AI 심리상담사’는 왜 스파이가 되었는가

Donghwi Shin

Published: 09:00, 13 Apr 2026 (Updated: 03:17, 17 May 2026)

Hackyboiz 해킹찍짹

💡

Editor Pick
- 공격은 침입이 아닌 관계에서 시작
- AI는 기술이 아닌 신뢰를 기반으로 데이터 수집
- 사용자가 문을 여는 순간, 보안의 전제는 무너짐

Hackyboiz Brief : 당신이 털어놓은 고민은 어떻게 데이터가 되는가

AI 상담 서비스를 이용하는 사용자들이 더 많은 많아지고 있다. 사람들은 검색창에 질문을 입력하는 것 만이 아닌, 자신의 감정과 고민을 이해해 줄 수 있는 ‘대화 상대’를 찾는다. 이러한 흐름 속에서 등장한 AI 심리상담 서비스는 단순한 기능을 넘어 새로운 관계의 등장으로 바라봐야 한다. 사용자는 자신의 불안, 인간관계의 문제, 개인적인 갈등까지도 거리낌 없이 털어놓고, AI는 이에 대해 공감과 조언을 제공한다.

Hackyboiz가 소개한 사례(🕵️‍♂️ 당신의 'AI 심리상담사'는 사실 스파이였습니다!)는 바로 이와 같은 변화에서 시작된다. 표면적으로 평범한 상담 서비스처럼 보이지만, 내부를 살펴보면서 전혀 다른 성격이 드러난 것이다. 사용자가 입력한 대화는 단순히 일회성으로 처리되는 것이 아니라, 저장되고 분석되며, 특정 조건에서는 외부로 전달될 수 있는 구조를 갖고 있었다. 즉, 사용자가 털어놓은 고민은 그 순간의 대화를 넘어, 이후 활용 가능한 데이터로 전환되는 것이다.

이 사례에서 주목해야 할 점은 기술적인 취약점이 존재하지 않는다는 점이다. 시스템이 악성코드 등에 감염된 것도 아니고, 외부 요인에 의한 공격이 이루어진 것도 아니다. 그럼에도 불구하고 민감한 정보가 외부로 이동할 수 있는 상태가 만들어진 것이다. 이와 같은 상황을 만드는 핵심 요소는 취약점이 아닌 ‘신뢰’다. 사용자는 공격당하지 않는다. 대신 스스로 정보를 제공한다. 그리고 바로 이 지점이 기존의 데이터 유출과 근본적으로 다른 지점이다.

공격은 어떻게 ‘관계’ 속에서 만들어지는가

Hackyboiz가 설명한 내용을 개인정보 보호의 문제로만 바라보면 구조적 의미를 충분히 이해하기 어렵다. 오히려 이는 새로운 형태의 공격 흐름이 어떻게 구성되는지 보여주는 사례로 이해하는 것이 효과적이다.

기존의 서비스는 사용자의 입력을 요구한다. 사용자는 질문을 입력하고, 시스템은 이에 대한 결과를 반환한다. 그러나 AI 상담 서비스는 입력을 요구하지 않는다. 다만 대화를 유도한다. 이 차이는 생각보다 상당히 크다고 바라봐야 한다. 약간 과장하자면 AI 상담 서비스가 사회공학적 기법을 적용한다고 할 수 있다. 그러므로 사용자는 정보를 입력한다고 느끼지 않고, 단지 자신의 이야기를 하고 있다고 느낀다. 사용자는 이 과정에서 자연스럽게 감추고 싶은 비밀을 노출하게 된다.

이와 같은 흐름속에 사용자의 데이터는 ‘수집’되는 것이 아닌 사용자에 의해 직접 ‘제공’된다. 사용자는 자신의 감정 상태, 관계의 맥락, 일상의 패턴 등 매우 높은 가치의 정보를 자발적으로 드러낸다. 이러한 정보는 단순한 개인정보를 넘어, 개인의 행동과 판단을 이해할 수 있는 수준의 데이터로 확장된다.

이 구조는 단발성으로 끝나지 않는다. 상담이라는 특성상 사용자는 반복적으로 서비스를 이용하게 되고, 대화는 누적되며, 데이터는 점점 더 깊어진다. 이 과정에서 형성되는 것은 단순한 데이터 집합이 아닌, 하나의 객체에 대한 지속적인 정보 흐름이다. 그리고 이 흐름은 사용자가 인지하지 못하는 사이에서 분석되거나 외부로 전달될 수 있다.

이 모든 과정은 전통적인 의미의 공격 없이 이루어진다. 시스템을 뚫는 행위도, 권한을 탈취하는 과정도 없다. 다만 관계가 형성되고, 그 관계 안에서 정보가 자연스럽게 이동한다.

TTE Insight : 공격은 왜 더 이상 ‘침입’이 아닌가

이 지점에서 우리는 기존의 보안 개념을 다시 생각해볼 필요가 있다. 지금까지 우리는 공격을 외부에서 시작되는 행위로 이해해왔다. 공격자는 시스템 바깥에 존재하고, 경계를 넘어서며, 공격자에 의한 데이터 탈취가 일어난다. 그러나 Hackyboiz가 설명한 사례에서는 이러한 전제가 성립하지 않는다. 시스템은 침해되지 않았으며, 사용자는 스스로 정보를 제공한다. 그럼에도 불구하고 결과적으로는 동일한 효과를 만들어 냈다. 즉, 민감한 정보가 시스템 밖으로 이동할 수 있는 상태가 만들어진 것이다.

이 변화는 단순한 기술적 진보가 아닌 구조의 변화에 가깝다. 이와 같은 구조 속에 공격은 더 이상 침입이라는 사건으로 정의되지 않는다. 사용자 경험과 서비스 설계 안에서 자연스럽게 발생하는 흐름으로 바뀐 것이다. 즉, 위와 같은 상황에서 공격은 외부에서 들어오는 것이 아닌 내부에서 생성되어 외부로 내보낸 것이다.

이러한 변화는 공격의 비용 구조에도 영향을 미친다. 과거에는 공격을 위해 높은 수준의 기술과 자원이 필요했지만, 이제는 사용자의 행동 자체가 데이터 수집의 출발점이 된다. 공격자는 시스템을 뚫을 필요가 없고, 사용자가 스스로 문을 열도록 만드는 것만으로 충분하다. 그리고 AI는 이 과정을 효율적으로 만들고 있으며 이를 위한 시나리오에 적극적으로 활용되고 있다.

우리는 무엇을 놓치고 있는가?

이 사례가 던지는 질문은 단순한 개인정보 보호의 범위를 넘어선다. 오히려 우리는 AI 시대의 보안을 어떤 방식으로 이해해야 하는지에 대해 다시 고민해야 한다.

우선, 우리는 왜 AI에게 더 많은 정보를 제공하는지 생각해볼 필요가 있다. 사람은 시스템과 상호작용할 때와 ‘존재’와 대화한다고 느끼며 전혀 다른 행동을 보인다. AI 상담 서비스가 단순한 인터페이스가 아닌, 공감하고 반응하는 존재처럼 인식되기 때문이다. 이로 인해 사용자는 자신도 모르게 더 깊은 정보를 드러내게 된다. 결국 문제는 기술이 아니라, 인간의 심리와 인터페이스의 설계 방식에 있을지도 모른다.

또한 이 구조에서는 공격의 시작점을 정의하기 어렵다. 사용자가 처음 고민을 털어놓는 순간이 시작인지, 데이터가 저장되는 시점이 시작인지, 아니면 외부로 전달되는 시점이 시작인지 명확하지 않다. 이는 공격이 더 이상 하나의 사건이 아니라, 지속적인 과정으로 변화하고 있다는 것이다.

나아가, 우리는 이미 이러한 구조를 어느 정도 허용하고 있는 것은 아닌지도 생각해봐야 한다. 우리는 AI에게 더 자연스럽게 대화하고, 더 깊이 이해하며, 더 오래 기억하기를 요구한다. 그러나 이러한 요구는 동시에 더 많은 데이터를 수집하고, 더 깊은 정보를 확보하며, 더 오래 저장하는 구조를 만든다. 편의를 위해 설계된 시스템이 동시에 공격 가능한 구조를 내포하는 것이다.

마지막으로 ‘동의’라는 개념 역시 재검토가 필요하다. 사용자는 서비스 약관에 동의하지만, 실제로 어떤 수준의 정보를 제공하고 있는지는 인식하지 못하는 경우가 많다. 특히 감정 기반의 대화에서는 이러한 괴리가 더욱 커진다. 사용자는 데이터를 입력한다고 느끼지 않고, 단지 이야기를 나누고 있다고 생각하기 때문이다. 이 순간 동의는 형식적인 절차로 남게 된다.

공격은 더 이상 밖에서 오지 않는다

Hackyboiz가 제시한 사례는 단순한 서비스의 문제가 아닌 방향성을 보여준다. 우리가 생각하는 공격이 외부에 위치한 객체로부터 시작되지 않을 수 있다는 것이다. AI 상담 환경을 보자면 공격은 사용자 경험 내부에서, 관계의 형태로, 그리고 자연스러운 흐름 속에서 일어난다.

우리는 지금까지 시스템을 보호하는 데 집중해왔다. 그러나 이제는 질문이 달라져야 한다. 어떻게 막을 것인가를 넘어서, 이러한 구조 자체를 어디까지 허용할 것인가를 고민해야 할 시점이다.