제미나이잭, 기업용 제미나이의 설계 결함

문가용 기자

Published: 18:42, 10 Dec 2025 (Updated: 14:36, 14 Jan 2026)

💡

Editor's Pick
- 제미나이 엔터프라이즈, 업무 환경에 결합했을 때 취약해져
- 간접 프롬프트 입력 공격을 대단위로 허용
- 너무 많은 권한을 인공지능에 이양해서 생기는 문제

구글의 LLM인 제미나이에서 중대한 보안 취약점이 발견됐다. 보안 기업 노마시큐리티(Norma Security)가 밝힌 내용에 의하면 해당 취약점에 영향을 받는 모델은 제미나이 엔터프라이즈(Gemini Enterprise)와 버텍스AI서치(Vertex AI Search)라고 한다. 노마 측은 이 취약점에 ‘제미나이잭(GeminiJack)’이라는 이름을 붙였다. 익스플로잇에 성공할 경우 기밀이 유출될 수 있다고 한다.

제미나이잭은 소프트웨어에서 흔히 발견되는 버그성 취약점이 아니라고 노마는 강조한다. “제미나이와 같은 인공지능 시스템이 태생적으로 가지고 있는 ‘설계 단계의 문제’입니다. 인공지능 시스템이 이메일이나 캘린더, 각종 문서를 통해 여러 가지 정보를 이해하는 방식 자체에서 발견되는 취약점이기 때문입니다. 인공지능 설계 그 자체에서부터 문제가 시작된 것이라고 할 수 있습니다. 따라서 패치로 뚝딱 고쳐내기는 힘듭니다.”

어떤 공격 가능한가?

노마가 자사 블로그를 통해 공개한 내용에 따르면 제미나이잭은 일종의 간접 프롬프트 주입 공격이라고 할 수 있다고 한다. “사용자들이 인공지능 프롬프트에 지시문을 직접 입력하기도 하지만, 외부 문서나 링크 등을 통해 간접 입력할 수도 있습니다. 이런 기능을 노리고 실시하는 게 간접 프롬프트 주입 공격입니다. 인공지능이 외부 사이트나 문서를 읽게 함으로써, 해당 사이트나 문서 내 미리 숨겨둔 지시를 실행하게 하는 것이죠. 구글 독스나 캘린더를 통해서도 이런 공격을 실시할 수 있습니다.”

이를 이용한 공격 시나리오는 다음과 같다.
1) 공격자들이 공격 표적이 되는 기업/기관을 정한다.
2) 이 때 공격 표적은 LLM을 업무용으로 적극 도입한 상태여야 한다.
3) 악성 지시가 숨겨져 있는 문서나 외부 자료를 만든다.
4) 그 자료를 해당 기업/기관의 자료실 등에 숨긴다.
5) 이후 해당 기업/기관 내 누군가가 LLM으로 자료를 검색하는 등 업무를 수행할 때 외부 자료를 참조해야 할 일이 있다면, 3)번의 숨겨진 지시문이 실행된다.
6) 어떤 지시문이 숨겨졌느냐에 따라 기밀이 새나가거나 악성 페이로드가 심기는 등의 일이 발생한다.

노마는 “기업이 업무 현황을 전사적으로 공개하기 위해 사내 캘린더에 민감한 정보를 저장해 두기도 하고, 특정 서버에 자료실을 만들어 계약서 등을 보관하기도 한다”면서 “업무용 LLM이 이런 자료들에 접속하게 한다면 제미나이잭을 통해 각종 정보를 훔치는 게 가능해진다”고 설명한다. “제미나이 엔터프라이즈의 경우 캘린더와 지메일 등에도 접속이 가능합니다. 즉, 기업 환경에서 축적해 놓은 각종 정보와 이메일이 전부 위험에 처할 수 있게 된다는 의미입니다.”

사전 정찰, 불필요

제미나이잭의 또 다른 특징은 공격자가 표적에 대해 많은 정보를 가지고 있지 않아도 된다는 것이다. 즉 사전 정찰의 부담감이 상당히 줄어든다는 의미가 된다. “LLM 덕분이죠. 공격자는 피해 기업/기관이 사용하고 있는 LLM을 통해 ‘인수’나 ‘급여’ 같은 키워드만 입력하면 그 LLM이 알아서 각종 정보를 가져다 줍니다. 직원들의 업무가 편해지도록 한 건데, 도리어 외부에서 침입해 들어온 공격자가 편해지는 겁니다.”

현대 해킹 공격에서 ‘사전 정찰’은 큰 비중을 차지한다. 최근 보안 솔루션들이 강력해졌기 때문에 아무런 준비없이 공격을 시작했다가는 실패로 귀결되기 일쑤라서다. 방어벽이 튼튼해지니 더 정교하고 날카롭게 구멍을 찾아야 하는 게 해커들의 몫이고, 그래서 이 ‘구멍 찾기’에 많은 노력이 투자된다. 그런 정찰 활동이 불필요하게 된다거나 덜 필요하게 된다는 건 공격의 허들이 낮아진다는 걸 의미한다.

설계 결함?

그런데 위의 공격 시나리오만 보면 여태까지 발견된 기존 간접 프롬프트 주입 공격과 크게 달라 보이지 않는다. 그런데 왜 노마는 ‘설계 오류’라고 설명하는 것일까? 이를 이해하려면 구글 제미나이 엔터프라이즈에 대해 좀 더 알아야 한다. “제미나이 엔터프라이즈는 구글의 각종 서비스에 높은 권한으로 접근할 수 있게 설계돼 있습니다. 구글 지메일, 구글 캘린더, 구글 독스, 구글 드라이브 등 기업이 업무에 필요한 각종 데이터를 저장해두는 곳을 마음대로 드나들 수 있는 것이죠.”

이는 제미나이 엔터프라이즈가 사용자의 직접 지시나 문서 안의 내용이나 문서 내에 숨겨진 지시를 모두 같은 신뢰도를 가지고 취급한다는 의미가 된다. 각종 데이터를 그런 식으로 다루라고, 사용자와 똑같은 권한을 가지도록 처음부터 설계된 게 제미나이 엔터프라이즈인 것. “그렇기에 기존 간접 프롬프트 주입 취약점과 제미나이잭의 차이는 분명합니다. 기존 취약점은 단일 문서나 단일 세션에만 영향을 주는 것이지만, 제미나이잭은 기업 전체 데이터가 통째로 위험해집니다.”

문제를 수정하는 면에서도 차이가 드러난다. 기존 취약점은 LLM의 가이드라인이나 입력 키워드 필터링을 강화하면 해결된다. 하지만 제미나이잭은 설계 오류이므로 제미나이 엔터프라이즈가 업무 환경에서 작동하는 방식 자체를 처음부터 바꿔야 한다.

어제 나온 아이디재스터 취약점 ‘카테고리’

본지는 바로 어제 ‘아이디재스터(IDEsaster)’라는 새로운 취약점 카테고리가 등장했다고 보도한 바 있다. 해당 기사는 여기서 열람이 가능하다. 아이디재스터 역시 하나의 모델이나 소프트웨어에서 발견된 취약점이 아니라, 개발 환경인 AI IDE들에서 공통적으로 나타나는 약점이었다.

아이디재스터와 제미나이잭은 본질적으로 같은 문제라고 할 수 있다. 왜냐하면 “인공지능에 사용자의 권한을 너무 쉽게 양도했다”는 것에서 출발하기 때문이다. 또 ‘사용자의 권한은 인공지능이 탑재될 것을 염두에 두지 않은 채 탄생한 기능에 억지로 인공지능을 결합하는 과정에서 양도되었다’는 공통점도 존재한다. 아이디재스터는 IDE라는 개발 환경에 AI를, 제미나이잭은 지메일이나 캘린더 등 기존 사무용 앱에 AI를 입히다가 생긴 사건이다.

결국 인공지능이 결합될 것을 염두에 둔 채 장비, 서비스, 앱을 개발해야 하는 것이 지금의 흐름이라고 할 수 있다. 아이디재스터를 발견해 세상에 알린 보안 전문가 아리 마주크(Ari Mazourk)는 ‘Secure for AI’라는 개념을 주장하고 있기도 하다. 재품, 서비스, 앱의 설계 때부터 인공지능의 안전한 결합을 미리 기획해야 한다는 게 바로 이 Secure for AI라고 할 수 있다.

구글은 노마 측의 제보를 받고 신속히 문제를 해결했다고 노마는 알렸다. 그러면서 제미나이 엔터프라이즈와 버텍스AI서치의 상호작용 방식을 변경했다. “버텍스AI서치 제품은 제미나이 엔터프라이즈와 완전히 분리시켰습니다. 따라서 제미나이잭을 활용한 공격이 통하지 않게 했습니다.” 노마의 설명이다.🆃🆃🅔

by 문가용 기자(anotherphase@thetechedge.ai