인공지능 브라우저의 연패...챗GPT아틀라스까지도

인공지능 브라우저의 연패...챗GPT아틀라스까지도
Photo by Growtika / Unsplash
💡
Editor's Pick
- 연달아 나오는 인공지능 브라우저들, 하지만 완성도가 문제
- 오픈AI의 챗GPT아틀라스도 간단한 공격에 취약
- 심지어 기본 피싱 보호 기능도 내장돼 있지 않아

출시된 지 얼마 지나지 않은 인공지능 브라우저 ‘챗GPT아틀라스(ChatGPT Atlas)’에서 새로운 취약점이 발견됐다. 익스플로잇에 성공한 공격자는 사용자의 챗GPT 세션 메모리에 악성 명령을 직접 주입할 수 있게 된다고 한다. 이 취약점에 아직 CVE 번호가 부여되지는 않았다. 대신 이를 발견한 보안 기업 레이어엑스시큐리티(LayerX Security)는 취약점에 ‘챗GPT테인티드메모리즈(ChatGPT Tainted Memories, CTM)’라는 이름을 붙였다.

레이어엑스가 발표한 자료에 의하면 CTM 익스플로잇 공격에 성공할 경우, 피해자가 인지도 하지 못한 상태에서 원격 코드 실행 공격까지도 할 수 있게 된다고 한다. 그 외에도 사용자 계정과 브라우저, 최초 감염시킨 장비와 연결된 다른 장비와 시스템을 대상으로 한 공격도 가능하다고 밝혔다. 크롬이나 에지 등 일반 브라우저에 플러그인을 설치하는 방식으로 챗GPT를 이용하는 사람들보다, 챗GPT아틀라스 브라우저를 설치해 사용하는 사람들이 90% 더 취약하다고 레이어엑스는 경고했다.

취약점 익스플로잇 시나리오

사용자가 챗GPT아틀라스 브라우저를 이용해 웹을 탐색하면, 브라우저는 챗GPT의 에이전트 기능을 활용해 웹 페이지의 콘텐츠를 학습하고 요약하는 등 여러 가지 작업을 수행한다. 이 때 브라우저는 특정 콘텐츠를 일단 읽어들이는 과정을 거치게 되는데, 그 콘텐츠에 미리 악성 지시문을 삽입해 두면 인공지능이 이를 처리할 수밖에 없게 된다는 것이 레이어엑스 측의 설명이다.

“챗GPT를 비롯해 여러 대형 언어 모델(LLM)들은 보호 장치를 내포하고 있긴 하지만, 특정 콘텐츠를 특정 상황에서 여과 없이 받아들이기도 합니다. 그래서 악성 주입 공격이 발생할 수 있는 것이죠. 챗GPT아틀라스에서 사용되는 건 챗GPT의 ‘에이전트’인데, 이 에이전트의 작동 원리는 원래 챗GPT와는 조금 다릅니다. 특정 콘텐츠를 자신의 작업거리로 해석하면, 내용을 판단하지 않은 채 해당 콘텐츠 내 요청을 수행합니다.” 레이어엑스의 설명이다.

이러한 특성을 악용할 경우 공격자는 사용자가 방문해 처리할 웹사이트에 미리 악성 지시문을 삽입함으로써 몰래 계정을 생성하거나, 특정 명령을 실행시키거나, 파일시스템에 접근하는 등의 공격을 할 수 있게 된다. “게다가 에이전트 메모리 기능이 대화의 맥락을 유지한다는 점도 위험하게 작용합니다. 맥락을 유지한다는 건 메모리에 이전 수행 작업들이 저장된다는 것인데, 이는 즉 익스플로잇 공격이 특정 장비에 한정되지 않는다는 뜻입니다. 세션만 이어진다면, 여러 장비에서 같은 공격을 할 수 있게 되는 것이죠. 공격 지속성 확보에 매우 유리한 조건입니다.”

챗GPT아틀라스에 피싱 보호 기능이 강력하게 내장되어 있지 않다는 것도 문제로 지적됐다. “이 때문에 일반적인 소셜 엔지니어링 공격을 실행시킬 수도 있게 됩니다. 즉 콘텐츠 내에 악성 링크를 삽입하면 에이전트가 여기에 접속한다는 것이죠. 기존 브라우저들에 있는 무난한 피싱 보호 기능만 있어도 하지 않을 작업을 하는 것이라 할 수 있습니다.” 오픈AI가 인공지능 모델 개발에 있어서는 뛰어나지만, 브라우저 시장에서는 아직 초보라는 것이 드러나는 지점이다. 회사의 유명세가 곧바로 ‘신뢰’로 이어지면 안 되는 이유다.

어떻게 대처해야 하나

레이어엑스가 자사 블로그에 게시한 글에 따르면 “이 위협에 모두가 노출돼 있다”고 한다. 특히 ‘챗GPT’나 ‘오픈AI’와 같은 유명 브랜드가 가지고 있는 신뢰도에 더해, 인공지능 기술 자체에 대한 사람들의 기대감이 더해져 이 취약점을 더 위험하게 만든다고 한다. “웹사이트 콘텐츠에 미리 악성 지시문을 삽입하는 간단한 작업만으로도 챗GPT아틀라스 사용자들을 속일 수 있다는 것, 즉 공격 난이도가 낮다는 것도 사태를 악화시키고 있습니다.”

챗GPT의 인기를 생각하면 챗GPT아틀라스의 인기 역시 급상승할 것이라 예상할 수 있으며, 만약 챗GPT아틀라스를 시험해보고자 하는 사용자들이 빠르게 늘어난다면 이번에 발견된 공격 기법만으로도 대량의 계정을 빠르게 표적 삼아 공격할 수 있을 것이라고 레이어엑스는 경고한다. “장비나 세션에 국한되지 않고 공격을 이어갈 수 있기 때문에 공격 확산 속도는 걷잡을 수 없을 정도로까지 증가할 수 있습니다. 브라우저를 단순 인터넷 탐색 도구로만 사용하는 일반 사용자들도 위험합니다.”

그럼에도 챗GPT아틀라스를 사용해보고 싶다면 다음과 같은 조치를 취할 수 있다고 레이어엑스 측은 권장한다.
1) 민감 계정을 사용할 일이 있다면 아직 챗GPT아틀라스로는 하지 말 것.
2) 낯선 링크는 클릭하지 말고, 중요한 작업을 할 때만큼은 일반 브라우저를 사용할 것.
3) 에이전트가 어떤 작업을 수행했는지 정기적으로 확인 및 검토하고, 예상 밖의 행동이 없었는지 확인할 것. 그리고 안전이 확보되는 작업만 지시할 것.
4) 회사 내에서 인공지능 브라우저를 사용한다면, 해당 브라우저가 설치된 엔드포인트를 고위험군으로 분류해 모니터링할 것. 망에서 분리시킬 것.
5) 오픈AI가 챗GPT아틀라스를 업데이트할 것이므로 소프트웨어를 항상 최신 상태로 유지할 것.

by 문가용 기자(anotherphase@thetechedge.ai)


모든 인공지능 브라우저 공략하는 사이드바스푸핑 공격
💡Editor’s Pick - 코멧과 챗GPT아틀라스 등 속속 등장하는 인공지능 브라우저 - 악성 플러그인 통해 사이드바 위장하면 각종 공격 가능 - 신기술에 대한 높은 신뢰도와 낯섦 모두 공략하는 기법 인공지능 기반 브라우저들을 위험에 빠트릴 수 있는 기법이 새롭게 발견됐다. 일명 ‘사이드바 스푸핑(sidebar spoofing)’이라고 하는 이 기법은 “브라우저 플러그인을 통해
퍼플렉시티 기반 코멧 브라우저, 알고 보면 악성 내부자?
💡Editor’s Pick - 에이젠틱 인공지능 브라우저 코멧, 민감 데이터에 자동 접근 - 프롬프트 주입 공격과 같은 듯 달라...더 교묘하고 권한 높아 - 인공지능 사용에 있어 보안 정책 강화되어야 유명 인공지능 모델인 퍼플렉시티(Perplexity)를 겨냥한 새로운 공격 기법이 발견됐다. 정확히는 퍼플렉시티의 에이젠틱 인공지능 브라우저(agentic AI browser)인 코멧(

Read more

갑자기 비밀번호 변경하라고? 인스타그램 사용자들 ‘불안’

갑자기 비밀번호 변경하라고? 인스타그램 사용자들 ‘불안’

💡Editor' s Pick - 비밀번호 재설정 요청 메일을 받은 인스타그램 사용자 일부 - 해당 메일은 인스타그램이 보낸 것...피싱 아니었음 - 같은 시기에 다크웹에 올라온 인스타그램 사용자 정보 일부 인스타그램 사용자들이 “비밀번호를 재설정 해달라”는 요청을 인스타그램으로부터 받는 일이 지난 주에 있었다. 해당 메일에 따라 사용자들은 비밀번호를 변경하거나 그대로

By 문가용 기자
토렌트, OSINT로서의 가치 충분

토렌트, OSINT로서의 가치 충분

💡Editor's Pick - 토렌트는 원래 대용량 파일 전송 위한 프로토콜 - 요즘 불법 다운로드의 대명사처럼 쓰이지만, 원래는 합법 기술 - 기업 망에서 토렌트 트래픽 있나 점검할 필요 있어 토렌트 트래픽 혹은 토렌트 메타데이터를 오픈소스 인텔리전스(OSINT)로 활용할 수 있다는 연구 결과가 발표됐다. 네덜란드 틸뷔르흐대학의 연구원 두 명과,

By 문가용 기자
[TE머묾] 이민국에 대항하는 미국 시민들, 한국에도 힌트가 되다

[TE머묾] 이민국에 대항하는 미국 시민들, 한국에도 힌트가 되다

💡Editor's Pick - 각자의 방법으로 ICE의 감시 기술 고발하는 사람들 - 카메라 위치, 단속 요원 움직임 파악해 DB화 후 공유 - 한국의 얼굴 인식 대량 수집 제도에 어떻게 대응할까 이민세관단속국(ICE)이 이민자들만이 아니라 일반 시민들까지도 감시 및 추적한다는 사실이 미국 사회에 급격히 퍼지기 시작하면서 여러 가지 대응책들이

By 문가용 기자
VM웨어 ESXi 제로데이 취약점, 중국 해커들은 오래 전부터 알고 있었다

VM웨어 ESXi 제로데이 취약점, 중국 해커들은 오래 전부터 알고 있었다

💡Editor's Pick - VM웨어 ESXi에서 발견된 세 가지 제로데이 취약점 - 작년 12월에 첫 공격 사례 발표됐으나, 추적해 보니 2024년에도 공격 있어 - 제로데이 미리 알고 있었기에, 피해 점검 더 넓고 깊게 해야 소닉월 VPN을 악용해 VM웨어 ESXi를 노리는 중국 해커들의 악행이 생각보다 오래 전에 시작된 것으로 보인다고

By 문가용 기자