구글 제미나이에서 심각한 취약점 3개 발견돼

구글 제미나이에서 심각한 취약점 3개 발견돼
Photo by Growtika / Unsplash
💡
Editor's Pick
- 구글 제미나이 통해 데이터 탈취 및 클라우드 서비스 손상 가능
- 인공지능 모델도 결국 하나의 소프트웨어, 취약점 당연히 있어
- 여느 소프트웨어 보호하듯 인공지능 모델도 보호해야

구글의 인공지능 서비스인 제미나이(Gemini)에서 세 개의 보안 취약점이 발견됐다. 익스플로잇에 성공할 경우 공격자들은 사용자들의 개인정보 등 각종 데이터를 훔쳐갈 수 있게 된다고 한다. 현재 이 취약점들은 전부 패치가 된 상태다.

보안 업체 테너블(Tenable)이 패치 후 공개한 바에 따르면 세 가지 공격이 다음과 같이 명명됐다고 한다.
1) 검색 주입 공격(검색 개인화 모델에 적용 가능)
2) 로그투프롬프트(log-to-prompt) 주입 공격(제미나이 클라우드 어시스트에 적용 가능)
3) 저장된 사용자 데이터 탈취 공격(제미나이 브라우징 도구에 적용 가능)
이 세 개의 취약점들에는 제미나이트리팩타(Gemini Trefecta)라는 이름이 붙어 있다. 

삼중 취약점
먼저 1)번의 검색 주입 공격은, 공격자가 프롬프트를 삽입해 인공지능 챗봇의 동작을 제어하고, 저장된 각종 정보를 유출시키는 결과를 낳는다. 제미나이 검색 개인화(Gemini Search Personalization) 모델이 실제 사용자가 입력한 프롬프트와 외부에서 삽입된 프롬프트를 구분하지 못한다는 취약점을 악용한 공격이다. 자바스크립트를 통해 크롬 브라우저 검색 기록을 조작하는 것까지 추가해야 이 공격이 성립된다.

2)번의 로그투프롬프트 주입 공격은, 프롬프트 주입 취약점을 익스플로잇 하는 행위로, 공격자가 클라우드 기반 서비스를 악용할 수 있게 될 뿐만 아니라 클라우드 자원을 손상시킬 수도 있게 해 준다. 이는 제미나이 클라우드 어시스트(Gemini Cloud Assist)가 원시 로그(raw log)에서 가져온 로그를 요약할 수 있다는 점을 악용한 공격이기도 하다. 유저에이전트(user-agent) 헤더 안에 프롬프트를 숨겨 여러 클라우드 서비스에 대한 HTTP 요청으로 위장해 전달함으로써 익스플로잇 할 수 있다.

💡
여기서 잠깐!
HTTP로 요청되는 여러 클라우드 서비스에는 어떤 것들이 있을까? 클라우드펑션(Cloud Function), 클라우드런(Cloud Run), 앱엔진(App Engine), 컴퓨트엔진(Compute Engine), 클라우드엔드포인츠(Cloud Endpoints), 클라우드어셋API(Cloud Asset API), 클라우드모니터링API(Cloud Monitoring API), 리코멘더API(Recommender API) 등이다.

3)번의 데이터 탈취 공격은 제미나이브라우징도구(Gemini Browsing Tool)에서 발견된 취약점을 악용해서 이뤄진다. 제미나이가 프롬프트에 따라 특정 웹 페이지의 내용을 요약하기 위해 내부적으로 자원을 호출하는데, 바로 이 과정을 악용한 공격이라고 테너블은 설명한다. “이를 통해 저장된 사용자 정보 및 위치 정보를 훔쳐갈 수 있게 됩니다.”

익스플로잇 어떻게 하나
테너블에 의하면 위 세 가지 취약점들을 익스플로잇 하기 위해 특정 링크로의 연결이나 이미지 렌더링을 할 필요가 없다고 한다. “프롬프트 요청 안에 특정 명령이나 지시만 삽입하면 공격자가 제어하는 악성 서버로 사용자의 민감 데이터를 전송할 수 있습니다.” 그러면서 가장 그럴듯한 공격 시나리오를 다음과 같이 설명했다.

“첫 번째 공격 시나리오의 경우 ‘공격자가 피해자 또하는 피해 서비스에 HTTP 요청을 보낼 수 있고, 제미나이가 원시 로그를 요약하도록 설정돼 있다’는 전제가 성립돼야 합니다. HTTP 요청을 보낼 수 있다는 건 특정 헤더를 조작할 수 있다는 의미인데, 이를 이용해 공격자가 악성 프롬프트를 숨겨 클라우드 서버로 전송할 수 있습니다. 제미나이 클라우드 어시스트가 로그를 읽어 요약할 때 숨겨진 프롬프트를 실행하게 됩니다.”

첫 번째 공격 시나리오[자료: 챗GPT를 통해 그림]

두 번째 공격 시나리오도 존재한다. “여기에도 전제조건이 하나 있습니다. 공격자가 악성 페이지를 마련했다는 것이고, 그 악성 페이지는 자바스크립트를 통해 크롬 기록을 조작할 수 있다는 겁니다. 피해자를 그런 사이트로 유도하면, 공격자가 만든 사이트가 자바스크립트로 검색 이력을 변조합니다. 그럼으로써 악성 검색 프롬프트를 피해자 브라우저 기록에 넣을 수 있습니다. 나중에 사용자가 제미나이의 검색 개인화 모델을 이용하면 모델이 그 조작된 검색 이력을 훑는 과정에서 악성 프롬프트를 실행하게 됩니다.”

💡
여기서 잠깐!
원시 로그란, 컴퓨터 시스템, 네트워크, 애플리케이션이 설계된 대로 작동하면서 남는 흔적 혹은 기록을 말한다. 누가 언제 로그인을 했는지, 어떤 요청이 들어왔는지, 어떤 오류가 발생했는지 등을 이 원시 로그로 파악할 수 있다. 다만 가공 및 정제되지 않은 형태이기 때문에 있는 그대로는 알아보기조차 힘들다. 다만 ‘알아보기 힘들다’는 건 사람에게 한정된 이야기이지, 인공지능에는 통용되지 않는다. 특히 제미나이는 이 로그를 읽어서 요약까지 할 수 있고, 이번에 발견된 취약점들 중 일부는 바로 이 요약 기능 때문에 발동된다.

구글, 어떤 조치 취했나?
테너블은 발견한 취약점들을 구글에만 은밀히 제보했다. 이에 구글은 모든 로그 요약 요청에 대한 응답에서 하이퍼링크를 렌더링하지 않도록 제미나이를 새롭게 설정했다. 여기에 더해 프롬프트 주입 공격에 대한 방어력 역시 강화했다.

테너블은 자사 블로그를 통해 “인공지능은 공격 도구로서도 강력하기 때문에 개발할 때 항상 주의해야 하지만, 인공지능 그 자체가 공격 표적이 될 수 있기 때문에 사용하는 면에 있어서도 보안을 강화해야 한다는 걸 잊지 말아야 한다”고 지적한다. “인공지능을 업무 환경에 사용하는 기업과 기관들이 빠르게 늘어나고 있습니다. 그런데 대부분 이 인공지능 모델들도 결국 소프트웨어의 일종이고, 따라서 여느 소프트웨어처럼 취약점 익스플로잇 공격에 노출될 수 있다는 걸 간과합니다.”

따라서 인공지능 모델과 관련한 가시성 확보와 모니터링, 사건 대응 절차 확립이 반드시 필요하다고 테너블은 강조한다. “인공지능 도입에 따라 알맞은 보안 정책도 마련돼야 합니다. 인공지능 모델이라고 해서 사이버 공격에 면역인 건 아닙니다. 게다가 사용자들은 아직 인공지능 활용에 미숙합니다. 강력한 보안 기준을 회사가 나서서 잡아줘야 합니다.”


인공지능 강자 오픈AI, 옛 강자 오라클과 손 잡다
💡Editor’s Pick - 오픈AI, 5년 간 3천억 달러 투자 - 많은 클라우드 업체와 손 잡고 있는데 굳이? - 가장 궁금한 에너지 문제에 대해서는 아직 침묵 ‘엥?’ 소리가 절로 나오는 계약이 성사됐다. 새롭고 강력한 기술인 인공지능 분야에서 압도적인 선두를 달리고 있는 오픈AI(OpenAI)와, 아직 건재하지만 오래되고 고전적이기까지 한 느낌이 나는
인공지능 - The Tech Edge

Read more

파이선 리포지터리 PyPI에서 고급 악성 패키지 발견돼

파이선 리포지터리 PyPI에서 고급 악성 패키지 발견돼

💡Editor's Pick - soopsocks라는 악성 패키지, 2600번 다운로드 돼 - SOCKS5 프록시 생성 후 여러 악성행위 실시 - 공공 리포지터리의 안전한 활용 위한 대책 도입 시급 파이선 생태계의 코드 리포지터리인 PyPI에서 악성코드가 유포되고 있다는 사실이 발견됐다. 이번 악성 패키지는 일종의 백도어 기능을 가지고 있다고 한다. SOCKS5 프록시 서비스를

By 문가용 기자
오라클 자산 관리 솔루션 노리는 캠페인 성행, 혹시 클롭?

오라클 자산 관리 솔루션 노리는 캠페인 성행, 혹시 클롭?

💡Editor's Pick - 대기업 자산 관리 솔루션 노리는 공격 - 데이터 훔쳤다는 협박 메일로부터 공격 시작 - 배후에 클롭 랜섬웨어 있을 가능성 높아 보여 구글의 보안 자회사 맨디언트(Mandiant)가 최근 새로운 악성 캠페인을 발견해 세상에 공개했다. 배후 세력으로 가장 유력한 건 악명 높은 랜섬웨어 단체인 클롭(Cl0p)

By 문가용 기자
한국서도 사용되는 마일사이트 라우터, 해킹 공격에 노출돼

한국서도 사용되는 마일사이트 라우터, 해킹 공격에 노출돼

💡Editor's Pick - 산업용 셀루러 라우터의 API, 인터넷에 노출돼 - 심지어 문자 메시지 열람과 확인까지 가능한 API - 너무 많은 권한을 주는 게 많은 보안 사고의 원인 산업용 셀룰러 라우터를 감염시키는 악성 캠페인이 발견됐다. 배후 세력은 자신들이 점거한 라우터들을 통해 악성 문자 메시지를 발송하고 있다고 한다. 단순 장난

By 문가용 기자
접근 제어 솔루션 원로그인에서 API 관리 부실 취약점 나와

접근 제어 솔루션 원로그인에서 API 관리 부실 취약점 나와

💡Editor's Pick - 원로그인에서 발견된 CVE-2025-59363 - client_secret이라는 민감 정보 노출시켜 - API 관리 개념 부족해서 생긴 취약점 인기 높은 아이덴티티 및 접근 관리 솔루션인 원로그인(OneLogin)에서 심각한 보안 취약점이 발견됐다. 이를 익스플로잇 하는 데 성공한 공격자는 민감한 정보를 가져갈 수 있게 된다고 한다. 해당 취약점에는

By 문가용 기자