[단독] AI가 그리는 캐리커처 놀이, 보안 시한폭탄

인스타그램과 링크드인 사용자들이 AI를 가지고 놀며 그 결과를 활발히 공유하고 있다. 일종의 유행이 만들어진 것인데, 이게 보안 위협이 될 수 있다는 지적이 나오고 있다. 또한 AI가 낸 결과물에 사용자의 평소 AI 사용 습관을 유추할 만한 내용도 포함돼 있어 조심해야 할 것이라고 전문가들은 경고했다. 아직 AI 사용에는 많은 주의가 필요하다.

“나를 그리시오” 유행

현재 수많은 사람들이 챗GPT에 이런 명령을 내리고 있다고 한다. “내가 누구이며, 내가 무슨 일을 하는지, 네가 알고 있는 모든 정보를 바탕으로 그리되, 캐리커처 형태로 만들어줘.” 그리고 그 결과물을 앞다투어 공개하는 중이다. 이런 ‘놀이’는 꾸준히 나타났다 사라지곤 하는데, 얼마 전에는 “그 동안 너와 내가 나눈 대화 내용을 바탕으로 내가 널 어떻게 대하고 있는지 그림으로 표현해줘”라는 프롬프트를 통해 나온 결과를 공유하는 게 유행했었다.

보안 기업 포트라(Fortra)에 따르면 “이번 유행은 꽤나 위험할 수 있다”고 한다. “왜냐하면 실제 많은 사람들이 업무 관련 이야기를 인공지능과 활발히 하고 있고, 그것이 인공지능 안에 축적되기 때문입니다. 그것이 그림으로 어떻게 표현될지, 그 그림이 어떤 힌트를 내포하고 있을지 아무도 예측할 수 없지요. 업무적으로 민감한 데이터가 노출될 수도 있습니다. 정교한 사회 공학 공격의 재료가 될 수도 있습니다. 매우 위험한 놀이입니다.”

데이터나 프라이버시 침해만 우려되는 게 아니다. “기업 입장에서는 임직원 중 누가 이 유행에 동참할지 전혀 예측할 수 없다는 것도 문제입니다. 누군가 기업의 중요한 기밀을 이런 식으로 노출시킬 수 있는데도 말이죠. 즉 ‘셰도우 AI(Shadow AI)’의 문제가 어느 조직에나 도사리고 있다는 걸 알 수 있습니다.”

이미 OWASP은 LLM 관련 주요 정보 노출 가능성을 OWASP TOP 10 중 하나로 선정한 바 있다. 우발적 과다 정보 공유를 넘어서는 리스크로 평가하기도 했다. 보다 체계적인(그러므로 주기적이며 꾸준한) 정보 노출이 이뤄질 수 있다는 의미가 된다. 단순 ‘규모’만 따져도 인공지능을 통한 정보 유출은 다른 유형의 정보 유출보다 어마어마하다는 것.

어떤 그림이 그려지는가

이미 각종 SNS 상에 공유된 수많은 캐리커처들을 통해 여러 정보가 노출되고 있다는 건 누가 봐도 금방 알 수 있다. “일단 그림만 봐도 사용자의 직업을 명확히 알 수 있습니다. 은행원, 엔지니어, 의사, 개발자… 물론 SNS 활동을 활발히 하는 사람은 이미 자신의 직업을 온라인 친구들에게 널리 알렸을 수 있습니다. 그러나 거기에 ‘특정 AI 모델을 통해 그림으로 표현해 공유했다’는 맥락이 추가되면 분위기가 사뭇 달라집니다. 당신이 어떤 AI를 주로 사용하며, 어느 정도 AI에 의존하는지도 나타나기 때문입니다. 정찰을 수행하는 해커들에게 상당한 가치를 지닌 정보가 됩니다.”

수많은 사람들이 비교적 비슷한 기간 내에 이 유행에 동참하면서 여러 장의 이미지들이 갑자기 공개됐다는 것도 위험 요소가 될 수 있다. “이 놀이가 서로와 공유하기 위해 시작됐다는 걸 생각해 보세요. 그렇다는 건 AI가 그린 그림이 거의 대부분 ‘모두가 볼 수 있는 곳’에 올라왔다는 뜻입니다. 그렇다는 건 검색이 용이하다는 것이죠. 갑자기 검색 가능한 인터넷 공간에 여러 의미와 정보가 담긴 그림들이 다수 올라왔다? 이걸 해커들이 모를 리 없습니다. 첩보 수집을 시작했을 가능성이 높습니다.”

따라서 이 유행이 한바탕 지나가고 나서(혹은 한창 진행되는 중에도) 대규모 스미싱 공격이 진행될 수 있다고 포트라는 경고한다. “하지만 스미싱 캠페인이 대거 늘어난다 하더라도 그것이 이번 사건과 어느 정도나 연관이 있는 건지 아무도 계산할 수 없을 겁니다. 그러니 이렇게나 위험한 유행을 ‘위험하다’고 경고해도 많은 사람들이 귀담아 듣지 않을 것이고, 이는 똑같은 사고의 반복으로 이어질 거라고 봅니다. 그게 진짜 위험이죠.”

캐리커처 통해 어떤 공격 실제로 가능한가?

공격자 입장에서 이번 유행을 되짚어보자. 공격자는 갑자기 SNS에 AI가 사용자와의 상호작용을 바탕으로 그린 캐리커처 그림이 대거 올라오고 있다는 걸 감지한다. 그리고 그 그림들이 전부 하나의 메시지를 가지고 있다는 걸 파악한다. 그건 바로 “나는(피해자는) 공개 LLM을 업무에 실제로 쓰고 있다”는 것이다. 그림이 모호하거나 아예 틀린 경우라면 “나는(피해자는) 공개 LLM을 업무에 잘 쓰고 있지 않다”고 추측할 수 있다.

이 한 줄의 정보가 왜 문제가 될까? 공격자 입장에서는 그 LLM을 잘 쓰는 피해자가 어떤 직업을 가지고 있고, 어떤 플랫폼을 자주 사용하는지 파악함으로써 “민감한 내용을 프롬프트에 삽입했을 가능성이 높거나 낮다”를 파악할 수 있기 때문이다. 표적으로서의 가치를 판단하는 데 요즘같이 수많은 사람들이 LLM을 사용하는 시대에, 이만한 정보가 없다고 포트라는 설명한다.

피해자로 지정한 사람의 캐리커처가 올라온 곳이 링크드인이라면 공격자는 피해자의 이름과 회사 정보까지 파악한 상태다. 그러므로 웹사이트 검색 등을 통해 피해자의 이메일 주소까지 쉽게 건져낼 수 있고, 이 이메일에 피해자가 자주 사용하는 LLM을 테마로 한 피싱 이메일을 보낼 수 있다. 예를 들어 “챗GPT 사용자 정책 위반 경고”와 같은 제목의 메일을 보낸다면 피해자는 서둘러 그 메일을 열어볼 확률이 높다. 이런 식으로 공격자는 해당 인물의 챗GPT 로그인 정보를 가져가는 게 가능하다.

피해자의 ID로 로그인에 성공한 공격자는 그 동안 누적된 프롬프트 히스토리를 열람할 수 있게 된다. 피해자가 어떤 직업을 가지고 있느냐에 따라 고객 정보와 계약 정보, API 키나 소스코드 등 각종 민감 정보를 캐낼 가능성이 높다. “게다가 이런 모든 정보를 프롬프트를 통해 요약하거나 유형별로 정리해 외부로 쉽게 빼돌릴 수도 있습니다. 민감 정보의 간편한 저장소에 드나드는 거라고 볼 수 있습니다.”

프롬프트 주입 공격도 가능

최근 LLM 위협의 대명사로 떠오르고 있는 ‘프롬프트 주입 공격’도 이 캐리커처 유행 때문에 더 용이해진다. “예를 들어 공격자가 특정 캐리커처를 보고 피해자의 직업을 알아챘다고 합시다. 그러면 DM이나 메일을 보내 ‘저는 비슷한 업무를 하고 있는 주니어인데, 선배님께 도움을 요청합니다’라고 말을 걸 수 있습니다. 그러면서 ‘제가 짠 이런 프롬프트를 한 번 봐주시겠어요?’라고 뭔가를 첨부합니다. 그러면 피해자는 별 다른 의심없이 그 프롬프트를 검토하겠지요.”

하지만 프롬프트를 그냥 눈으로 읽어서 검토하는 사람은 거의 없다. 그 누구도 프롬프트를 읽는 것만으로 결과를 예상하거나 문제를 발견할 수 없다. “그렇기에 그 후배님의 프롬프트를 받아든 피해자는, 그 프롬프트를 복사해  자기가 잘 사용하는 LLM에 붙여넣겠죠. 이걸 예측해 처음부터 프롬프트에 악성 명령을 포함시키면 어떻게 될까요? LLM에 저장된 정보나 과거 채팅 히스토리 등이 유출될 수 있습니다.”

캐리커처 자체가 위험한 건 아냐

이번 유행에서 알아두어야 할 건 캐리커처 그 자체가 위험 요소는 아니라는 거다. 그 캐리커처가 나오기까지의 과정과, 그 캐리커처들에 내포된 ‘보이지 않는 정보’들이 문제다. “즉 피해자가 그 동안 LLM에 축적해 놓은 데이터가 존재한다는 ‘암시’와, 피해자가 그 동안 SNS를 통해 공개된 또 다른 정보들과 캐리커처가 결합됐을 때 생기는 ‘시너지’가 문제라는 겁니다. 어떻게 보면 흩어져 있어 전혀 별개로 보이는 두 개 이상의 정보를 하나의 의미로 꿰뚫어내는 공격자들의 비상한 ‘머리’가 문제의 근원일 수도 있습니다.”

그리고 또 하나, 위에서 언급했다시피 기업 입장에서 전혀 예측할 수 없는 리스크가 된다는 게 진짜 심각한 문제다. “수많은 사람들이 업무에 LLM을 통합해 씁니다. 이제 LLM 없으면 업무가 안 될 지경이기까지 하지요. 그렇기 때문에 LLM에는 각종 정보가 그득히 저장돼 있습니다. 이런 상황이 도래했다는 것 자체가 기업들로서는 위험한 건데, 아직 기업들이 이를 잘 인지하지 않고 있습니다. AI 활용에 관한, 보다 꼼꼼하고 세밀한 거버넌스가 필요합니다.”

그러면서 포트라는 다음과 같은 몇 가지 조치를 권고한다.
1) 업무 수행 시 어떤 LLM을 허용하는지, LLM 사용 시 어떤 데이터를 입력해도 되는지, 문제 발생 시 누가 어떤 책임을 져야 하는지를 명확히 규정한다

2) 기업이 관리할 수 있는 LLM을 선정하여 정식 도입한다. 승인되지 않은 AI 애플리케이션을 기술적으로 제한할 방법을 찾는다.

3) 데이터 손실 방지 기술을 LLM과 통합하여 처음부터 민감 정보가 LLM에 입력되지 않도록 한다.

4) LLM 로그인을 할 때 다중인증 옵션을 활용한다. 외부에서 임직원 ID로 로그인하지 못하도록 여러 계정 보호 장치를 도입한다.

5) 보안 웹 게이트웨이, 브라우저 격리, 네트워크 모니터링을 통해 LLM 트래픽을 분리, 모니터링, 분석한다.🆃🆃🅔

by 문가용 기자(anotherphase@thetechedge.ai)

Related Materials

• ChatGPT caricature trend privacy risks: What users must know - Bitdefender, 2026년
• The New ChatGPT Caricature Trend Comes With A Privacy Warning - Forbes, 2026년
• Cyber experts warn viral AI caricature trend may expose too much personal data - EWN, 2026년
• What Can the AI Work Caricature Trend Teach Us About the Risks of Shadow AI? - Fortra, 2026년

인공지능 때문에 늘어나는 자동화 트래픽, 보안 사고의 씨앗

💡Editor’s Pick - 자동화 트래픽 크게 늘리는 인공지능 서비스들 - 나쁜 트래픽 아니어도 ‘봇 트래픽 증가’ 만으로도 문제 - 통제 불가능한 수준이 되는 것이 불안의 근원...가시성 확보 필요 LLM이 인기를 끌면서 인공지능이 대중화 되기 시작했다. 이 때문에 봇 트래픽이 급격히 증가하는 중이다. 동시에 자동화 기술이 발전하고 광범위하게 도입되면서 자동화

더테크엣지(The Tech Edge)문가용 기자