구글 제미나이에서 심각한 취약점 3개 발견돼

구글 제미나이에서 심각한 취약점 3개 발견돼
Photo by Growtika / Unsplash
💡
Editor's Pick
- 구글 제미나이 통해 데이터 탈취 및 클라우드 서비스 손상 가능
- 인공지능 모델도 결국 하나의 소프트웨어, 취약점 당연히 있어
- 여느 소프트웨어 보호하듯 인공지능 모델도 보호해야

구글의 인공지능 서비스인 제미나이(Gemini)에서 세 개의 보안 취약점이 발견됐다. 익스플로잇에 성공할 경우 공격자들은 사용자들의 개인정보 등 각종 데이터를 훔쳐갈 수 있게 된다고 한다. 현재 이 취약점들은 전부 패치가 된 상태다.

보안 업체 테너블(Tenable)이 패치 후 공개한 바에 따르면 세 가지 공격이 다음과 같이 명명됐다고 한다.
1) 검색 주입 공격(검색 개인화 모델에 적용 가능)
2) 로그투프롬프트(log-to-prompt) 주입 공격(제미나이 클라우드 어시스트에 적용 가능)
3) 저장된 사용자 데이터 탈취 공격(제미나이 브라우징 도구에 적용 가능)
이 세 개의 취약점들에는 제미나이트리팩타(Gemini Trefecta)라는 이름이 붙어 있다. 

삼중 취약점
먼저 1)번의 검색 주입 공격은, 공격자가 프롬프트를 삽입해 인공지능 챗봇의 동작을 제어하고, 저장된 각종 정보를 유출시키는 결과를 낳는다. 제미나이 검색 개인화(Gemini Search Personalization) 모델이 실제 사용자가 입력한 프롬프트와 외부에서 삽입된 프롬프트를 구분하지 못한다는 취약점을 악용한 공격이다. 자바스크립트를 통해 크롬 브라우저 검색 기록을 조작하는 것까지 추가해야 이 공격이 성립된다.

2)번의 로그투프롬프트 주입 공격은, 프롬프트 주입 취약점을 익스플로잇 하는 행위로, 공격자가 클라우드 기반 서비스를 악용할 수 있게 될 뿐만 아니라 클라우드 자원을 손상시킬 수도 있게 해 준다. 이는 제미나이 클라우드 어시스트(Gemini Cloud Assist)가 원시 로그(raw log)에서 가져온 로그를 요약할 수 있다는 점을 악용한 공격이기도 하다. 유저에이전트(user-agent) 헤더 안에 프롬프트를 숨겨 여러 클라우드 서비스에 대한 HTTP 요청으로 위장해 전달함으로써 익스플로잇 할 수 있다.

💡
여기서 잠깐!
HTTP로 요청되는 여러 클라우드 서비스에는 어떤 것들이 있을까? 클라우드펑션(Cloud Function), 클라우드런(Cloud Run), 앱엔진(App Engine), 컴퓨트엔진(Compute Engine), 클라우드엔드포인츠(Cloud Endpoints), 클라우드어셋API(Cloud Asset API), 클라우드모니터링API(Cloud Monitoring API), 리코멘더API(Recommender API) 등이다.

3)번의 데이터 탈취 공격은 제미나이브라우징도구(Gemini Browsing Tool)에서 발견된 취약점을 악용해서 이뤄진다. 제미나이가 프롬프트에 따라 특정 웹 페이지의 내용을 요약하기 위해 내부적으로 자원을 호출하는데, 바로 이 과정을 악용한 공격이라고 테너블은 설명한다. “이를 통해 저장된 사용자 정보 및 위치 정보를 훔쳐갈 수 있게 됩니다.”

익스플로잇 어떻게 하나
테너블에 의하면 위 세 가지 취약점들을 익스플로잇 하기 위해 특정 링크로의 연결이나 이미지 렌더링을 할 필요가 없다고 한다. “프롬프트 요청 안에 특정 명령이나 지시만 삽입하면 공격자가 제어하는 악성 서버로 사용자의 민감 데이터를 전송할 수 있습니다.” 그러면서 가장 그럴듯한 공격 시나리오를 다음과 같이 설명했다.

“첫 번째 공격 시나리오의 경우 ‘공격자가 피해자 또하는 피해 서비스에 HTTP 요청을 보낼 수 있고, 제미나이가 원시 로그를 요약하도록 설정돼 있다’는 전제가 성립돼야 합니다. HTTP 요청을 보낼 수 있다는 건 특정 헤더를 조작할 수 있다는 의미인데, 이를 이용해 공격자가 악성 프롬프트를 숨겨 클라우드 서버로 전송할 수 있습니다. 제미나이 클라우드 어시스트가 로그를 읽어 요약할 때 숨겨진 프롬프트를 실행하게 됩니다.”

첫 번째 공격 시나리오[자료: 챗GPT를 통해 그림]

두 번째 공격 시나리오도 존재한다. “여기에도 전제조건이 하나 있습니다. 공격자가 악성 페이지를 마련했다는 것이고, 그 악성 페이지는 자바스크립트를 통해 크롬 기록을 조작할 수 있다는 겁니다. 피해자를 그런 사이트로 유도하면, 공격자가 만든 사이트가 자바스크립트로 검색 이력을 변조합니다. 그럼으로써 악성 검색 프롬프트를 피해자 브라우저 기록에 넣을 수 있습니다. 나중에 사용자가 제미나이의 검색 개인화 모델을 이용하면 모델이 그 조작된 검색 이력을 훑는 과정에서 악성 프롬프트를 실행하게 됩니다.”

💡
여기서 잠깐!
원시 로그란, 컴퓨터 시스템, 네트워크, 애플리케이션이 설계된 대로 작동하면서 남는 흔적 혹은 기록을 말한다. 누가 언제 로그인을 했는지, 어떤 요청이 들어왔는지, 어떤 오류가 발생했는지 등을 이 원시 로그로 파악할 수 있다. 다만 가공 및 정제되지 않은 형태이기 때문에 있는 그대로는 알아보기조차 힘들다. 다만 ‘알아보기 힘들다’는 건 사람에게 한정된 이야기이지, 인공지능에는 통용되지 않는다. 특히 제미나이는 이 로그를 읽어서 요약까지 할 수 있고, 이번에 발견된 취약점들 중 일부는 바로 이 요약 기능 때문에 발동된다.

구글, 어떤 조치 취했나?
테너블은 발견한 취약점들을 구글에만 은밀히 제보했다. 이에 구글은 모든 로그 요약 요청에 대한 응답에서 하이퍼링크를 렌더링하지 않도록 제미나이를 새롭게 설정했다. 여기에 더해 프롬프트 주입 공격에 대한 방어력 역시 강화했다.

테너블은 자사 블로그를 통해 “인공지능은 공격 도구로서도 강력하기 때문에 개발할 때 항상 주의해야 하지만, 인공지능 그 자체가 공격 표적이 될 수 있기 때문에 사용하는 면에 있어서도 보안을 강화해야 한다는 걸 잊지 말아야 한다”고 지적한다. “인공지능을 업무 환경에 사용하는 기업과 기관들이 빠르게 늘어나고 있습니다. 그런데 대부분 이 인공지능 모델들도 결국 소프트웨어의 일종이고, 따라서 여느 소프트웨어처럼 취약점 익스플로잇 공격에 노출될 수 있다는 걸 간과합니다.”

따라서 인공지능 모델과 관련한 가시성 확보와 모니터링, 사건 대응 절차 확립이 반드시 필요하다고 테너블은 강조한다. “인공지능 도입에 따라 알맞은 보안 정책도 마련돼야 합니다. 인공지능 모델이라고 해서 사이버 공격에 면역인 건 아닙니다. 게다가 사용자들은 아직 인공지능 활용에 미숙합니다. 강력한 보안 기준을 회사가 나서서 잡아줘야 합니다.”


인공지능 강자 오픈AI, 옛 강자 오라클과 손 잡다
💡Editor’s Pick - 오픈AI, 5년 간 3천억 달러 투자 - 많은 클라우드 업체와 손 잡고 있는데 굳이? - 가장 궁금한 에너지 문제에 대해서는 아직 침묵 ‘엥?’ 소리가 절로 나오는 계약이 성사됐다. 새롭고 강력한 기술인 인공지능 분야에서 압도적인 선두를 달리고 있는 오픈AI(OpenAI)와, 아직 건재하지만 오래되고 고전적이기까지 한 느낌이 나는
인공지능 - The Tech Edge

Read more

갑자기 비밀번호 변경하라고? 인스타그램 사용자들 ‘불안’

갑자기 비밀번호 변경하라고? 인스타그램 사용자들 ‘불안’

💡Editor' s Pick - 비밀번호 재설정 요청 메일을 받은 인스타그램 사용자 일부 - 해당 메일은 인스타그램이 보낸 것...피싱 아니었음 - 같은 시기에 다크웹에 올라온 인스타그램 사용자 정보 일부 인스타그램 사용자들이 “비밀번호를 재설정 해달라”는 요청을 인스타그램으로부터 받는 일이 지난 주에 있었다. 해당 메일에 따라 사용자들은 비밀번호를 변경하거나 그대로

By 문가용 기자
토렌트, OSINT로서의 가치 충분

토렌트, OSINT로서의 가치 충분

💡Editor's Pick - 토렌트는 원래 대용량 파일 전송 위한 프로토콜 - 요즘 불법 다운로드의 대명사처럼 쓰이지만, 원래는 합법 기술 - 기업 망에서 토렌트 트래픽 있나 점검할 필요 있어 토렌트 트래픽 혹은 토렌트 메타데이터를 오픈소스 인텔리전스(OSINT)로 활용할 수 있다는 연구 결과가 발표됐다. 네덜란드 틸뷔르흐대학의 연구원 두 명과,

By 문가용 기자
[TE머묾] 이민국에 대항하는 미국 시민들, 한국에도 힌트가 되다

[TE머묾] 이민국에 대항하는 미국 시민들, 한국에도 힌트가 되다

💡Editor's Pick - 각자의 방법으로 ICE의 감시 기술 고발하는 사람들 - 카메라 위치, 단속 요원 움직임 파악해 DB화 후 공유 - 한국의 얼굴 인식 대량 수집 제도에 어떻게 대응할까 이민세관단속국(ICE)이 이민자들만이 아니라 일반 시민들까지도 감시 및 추적한다는 사실이 미국 사회에 급격히 퍼지기 시작하면서 여러 가지 대응책들이

By 문가용 기자
VM웨어 ESXi 제로데이 취약점, 중국 해커들은 오래 전부터 알고 있었다

VM웨어 ESXi 제로데이 취약점, 중국 해커들은 오래 전부터 알고 있었다

💡Editor's Pick - VM웨어 ESXi에서 발견된 세 가지 제로데이 취약점 - 작년 12월에 첫 공격 사례 발표됐으나, 추적해 보니 2024년에도 공격 있어 - 제로데이 미리 알고 있었기에, 피해 점검 더 넓고 깊게 해야 소닉월 VPN을 악용해 VM웨어 ESXi를 노리는 중국 해커들의 악행이 생각보다 오래 전에 시작된 것으로 보인다고

By 문가용 기자