제미나이 속이니 감쪽같은 데이터 탈취범

제미나이 속이니 감쪽같은 데이터 탈취범
Photo by sq lim / Unsplash
💡
Editor's Pick
- 제미나이와 캘린더의 결합, 많은 사용자들이 애용
- 제미나이가 읽는 평문에 악성 명령 숨기기 가능
- 숨겨진 명령 통해 데이터 탈취해 빼돌리기도 가능

최첨단 인공지능이 또 속았다. 단순한 초대장 하나를 통해 구글 제미나이가 개인정보를 훔치는 도구로 변모한 것이다. 이 과정을 보안 기업 미고시큐리티(Miggo Security)의 연구원들이 공개했다. 구글 제미나이와 구글 캘린더의 연결고리에서 발견된 취약점 덕분에 가능한 일이었다고 미고 측은 설명했다.

제미나이와 캘린더는 매우 궁합이 좋은 앱이다. 사용자가 캘린더에 스케줄을 등록할 때 제미나이를 통해 할 수도 있고, 캘린더의 내용을 제미나이가 확인해 사용자에게 알려주기도 한다. 이미 수많은 구글 사용자들이 이 둘의 조합을 애용하고 있으며, 따라서 더 이상 둘을 분리시킬 수도 없다. 

“제미나이가 캘린더를 읽어들일 수 있는 건, 코드가 아니라 일반 언어까지도 이해할 수 있다는 뜻입니다. 그 말은 다시 캘린더에 숨겨진 지시문을 통해 인공지능을 조작할 수도 있다는 의미로 확장될 수 있습니다. 그것이 실제 저희가 증명한 일이기도 하고요.” 미고 소속 연구원들이 보고서를 통해 밝힌 내용이다.

실험을 통해 이뤄진 공격의 과정

미고의 연구원들이 진행한 실험은 제일 먼저 구글 캘린더 회의 초대장 하나로 시작됐다. 정상적인 회의 초대장처럼 보이는 이벤트를 보내되, 그 안에 있는 상세설명(description) 필드에 안건 내용을 설명하는 문구를 삽입했다. 그런데 이 문구들은 인공지능이 ‘명령어’로 해석할 수 있도록 작성됐다. 물론 인간의 눈에는 평범한 안건처럼 보일 뿐이다. 해당 문구는 안전을 위해 미고가 공개하지 않고 있다.

“다만 코드나 프로그래밍 언어로 구성되지 않았습니다. 완전한 평문이었습니다. 그 안에는 ‘다른 비공개 캘린더 일정을 읽어들여서 내용을 요약한 뒤, 그 결과를 새로운 캘린더 이벤트로서 저장하라’는 내용의 명령이 포함돼 있었습니다.” 미고의 설명이다.

악성 명령이 숨겨져 있는 이 초대장은 피해자의 캘린더에 저장된다. 그런 상태에서 피해자가 제미나이에 캘린더 관련 질문을 하면, 제미나이가 캘린더를 읽어들이다가 그 초대장의 악성 명령을 자동으로 수행한다. 이 때 피해자는 악성 초대장을 열어보거나 특정 링크를 클릭하지도 않았다. 초대장을 이메일로 보내 링크 클릭이나 첨부파일 열기를 유도하는 것과는 차원이 다른 공격이 이뤄지는 것이다.

초대장이 피해자 캘린더에 왜 저장되는가?

의문이 들 수 있다. 악성 초대장이 어떻게 피해자의 캘린더에 미리 저장돼 있는 걸까? 이는 구글 캘린더의 작동 방식 때문에 가능한 일이다. “구글 회의 초대는 그냥 이메일이 아닙니다. 초대를 하는 쪽에서 참석자 이메일을 추가하고 구글 캘린더 이벤트를 생성하는데, 이 시점에서 이미 이벤트 ID와 시작 및 종료 시간, 상세설명, 참석자 목록을 가진 ‘캘린더 객체’ 하나가 만들어집니다. 메일이 아니라 캘린더 객체이기 때문에 상대방 캘린더에 연결될 수 있습니다. 구글이 캘린더 객체들의 작동 방식을 그런 식으로 만들어 두었기 때문이죠.”

물론 모든 것이 ‘구글의 책임’인 것은 아니다. 구글 캘린더 사용자 대다수가 ‘초대를 캘린더에 자동으로 추가’하도록 설정해두고 있기도 하다. 그리고 그 초대에 응할 것인지 말 것인지 응답을 하지 않더라도 일정에 추가하는 옵션도 활성화 해두고 있다. ‘초대’가 캘린더 객체라는 것, 그리고 그 객체가 자동으로 추가되도록 많은 사용자들이 설정을 해두고 있다는 것, 이 두 가지가 만나니 미고시큐리티가 실험한 ‘인공지능 속이기 공격’이 치명적으로 작용할 수 있다.

“제미나이만 이해할 수 있는 명령을 초대장에 넣어 피해자의 캘린더에 추가하는 이 공격이 특히나 위험한 건, 그 모든 과정이 정상적으로 보이기 때문입니다. 초대장부터 지극히 정상적으로 보이고, 초대장의 상세설명 내용도 그저 하나의 안건으로만 보입니다. 그 초대장이 스스로 공격을 개시하는 것도 아니고, 피해자가 제미나이와 소통하는 과정에서 악성 행위가 조용하게 발동됩니다. 인공지능이 ‘비서 역할을 할 수 있다’는 것 자체가 취약점인 셈입니다.” 미고시큐리티 측의 지적이다.

실제 공격을 수행하려면

공격자가 미고시큐리티와 똑같은 공격을 실제로 수행하기 위해 필요한 것은 피해자의 이메일 주소 하나 뿐이다. 그 이메일을 통해 구글 캘린더에 등록될 수 있는 초대장만 보내면 된다. 물론 피해자가 구글 캘린더와 제미나이를 조합해 사용하는 사람이라는 걸 미리 알아내는 것도 필요한 일이긴 하지만, 그 정보가 없더라도 공격 자체를 시도하는 건 가능하다. 

“게다가 클릭이나 파일 열기를 유도하지 않아도 됩니다. 그렇다는 건 피해자의 심리를 복잡하게 노릴 필요도 없다는 것이고, 악성 링크나 악성 파일이 없다는 건 각종 보안 솔루션을 회피할 가능성도 높다는 뜻입니다. 인공지능을 속이기만 한다면 전통적인 보안 솔루션들을 한 순간에 바보로 만들 수 있다는 것, 그게 가장 큰 위협입니다. 인공지능을 속이는 것이 그리 어려운 것도 아니고요.” 미고의 설명이다.

문제의 핵심, 인공지능의 권한

이런 현상이 나타나는 가장 큰 이유는 인공지능이 기본적으로 너무 높은 권한을 가지고 있다는 것이다. 인공지능은 사용자의 일정 생성 및 확인을 돕는 기술이기 때문에, 캘린더 내 모든 내용을 빠짐없이 열람할 수 있다. 그런 권한을 가지고 있음에도 제미나이는 ‘이 일정은 안전한가?’, ‘이 이벤트의 출처는 무엇인가?’ 등을 확인하지 않는다. “그래서 스팸성 초대나 정상적인 초대나 동일하게 처리합니다. 사용자가 무시하거나 거절한 초대도 마찬가지고요. 이 특성 안에 많은 위험성이 내포돼 있다고 볼 수 있습니다.”

제미나이가 가진 캘린더 접근 권한을 설정할 수는 없을까? 안타깝게도 현 시점에서 세밀한 설정은 불가하다. “제미나이가 캘린더에 대해 가지는 권한은 접근 허용과 비허용 두 가지 뿐입니다. 캘린더를 다 읽거나, 아예 다 읽지 못하거나 둘 중 하나라는 것이죠. 어쩌면 그러한 설정의 부재가 더 근본적인 취약점일 수도 있습니다.”

그렇다면 현재 제미나이와 캘린더를 연동해서 사용하고 있는 사람들이 할 수 있는 일은 무엇일까? “가장 안전한 건 제미나이가 캘린더에 접근하지 못하도록 하는 겁니다. 구글 계정의 설정에서 ‘데이터 및 개인정보 보호’에 들어가 앱 및 서비스 권한 내 ‘제미나이 / 구글 어시스턴트’가 어떤 서비스와 연결돼 있는지 확인하십시오. 그리고 구글 캘린더 권한을 삭제해야 합니다.”

다만 이렇게 했을 경우 캘린더와 연동했을 때의 편리함을 누릴 수 없게 된다. 인공지능과 캘린더의 연동이 주는 편리함이냐 위험이냐, 지금은 하나만 선택할 수 있을 뿐이다. 구글은 아직 이러한 ‘미세 설정 불가능’의 상황을 어떻게 개선할 것인지 밝히지 않고 있다.🆃🆃🅔

by 문가용 기자(anotherphase@thetechedge.ai)


인공지능 때문에 늘어나는 자동화 트래픽, 보안 사고의 씨앗
💡Editor’s Pick - 자동화 트래픽 크게 늘리는 인공지능 서비스들 - 나쁜 트래픽 아니어도 ‘봇 트래픽 증가’ 만으로도 문제 - 통제 불가능한 수준이 되는 것이 불안의 근원...가시성 확보 필요 LLM이 인기를 끌면서 인공지능이 대중화 되기 시작했다. 이 때문에 봇 트래픽이 급격히 증가하는 중이다. 동시에 자동화 기술이 발전하고 광범위하게 도입되면서 자동화
MS 애저 CTO, “LLM의 기본 추론 능력, 부실하다”
💡Editor’s Pick - LLM, 요약을 잘 하는 것이지 추론 잘 하는 것 아냐 - ‘사실’이라고 사용자가 강하게 말하면 LLM에는 사실이 돼 - 진실에 뿌리를 내리지 못하는 LLM, 각종 오류 일으켜 인공지능의 기본적 추론 능력에 문제가 있다는 지적이 나왔다. MS 애저의 CTO인 마크 러시노비치(Mark Russinovich)가 직접 언급한 내용으로, “인공지능을

Read more

[TE머묾] AI 시대에, 혐오 직업 보유자로 버티기

[TE머묾] AI 시대에, 혐오 직업 보유자로 버티기

💡Editor's Pick - 텍스트로 둘러싸인 더테크엣지 기자의 현장 - 인공지능 덕 좀 보려했지만, 퇴근 시간은 제자리걸음 - 인공지능과의 경쟁에서 기자가 앞서는 건 무엇일까 며칠 어지럼증이 심해졌다. 눈앞이 핑 돈다는 게 뭔지 살면서 처음 경험했다. 그건 비유가 아니었다. 사실에 충실한 표현이었다. 이미 수백 년 전 폐기된 천동설이 아직 살아남아

By 문가용 기자
제프리 엡스타인은 스캔들이 아니라 구조였다

제프리 엡스타인은 스캔들이 아니라 구조였다

💡Editor Pick - 2019년 사건은 개인을 향했고 2026년 문서 공개는 구조를 드러냄 - 국가는 어디까지 네트워크를 활용할 수 있으며, 감시 책임 주제는? - 정보가 소유되고 축적될 때 권력으로 발전 2019년의 사건, 2026년의 문서 공개, 그리고 ‘정보의 민영화’라는 질문 2019년 7월, 뉴욕에서 체포된 제프리 엡스타인(Jeffrey Epstein)은 미성년자 성착취

By Donghwi Shin, Jin Kwak