인공지능 브라우저의 연패...챗GPT아틀라스까지도

인공지능 브라우저의 연패...챗GPT아틀라스까지도
Photo by Growtika / Unsplash
💡
Editor's Pick
- 연달아 나오는 인공지능 브라우저들, 하지만 완성도가 문제
- 오픈AI의 챗GPT아틀라스도 간단한 공격에 취약
- 심지어 기본 피싱 보호 기능도 내장돼 있지 않아

출시된 지 얼마 지나지 않은 인공지능 브라우저 ‘챗GPT아틀라스(ChatGPT Atlas)’에서 새로운 취약점이 발견됐다. 익스플로잇에 성공한 공격자는 사용자의 챗GPT 세션 메모리에 악성 명령을 직접 주입할 수 있게 된다고 한다. 이 취약점에 아직 CVE 번호가 부여되지는 않았다. 대신 이를 발견한 보안 기업 레이어엑스시큐리티(LayerX Security)는 취약점에 ‘챗GPT테인티드메모리즈(ChatGPT Tainted Memories, CTM)’라는 이름을 붙였다.

레이어엑스가 발표한 자료에 의하면 CTM 익스플로잇 공격에 성공할 경우, 피해자가 인지도 하지 못한 상태에서 원격 코드 실행 공격까지도 할 수 있게 된다고 한다. 그 외에도 사용자 계정과 브라우저, 최초 감염시킨 장비와 연결된 다른 장비와 시스템을 대상으로 한 공격도 가능하다고 밝혔다. 크롬이나 에지 등 일반 브라우저에 플러그인을 설치하는 방식으로 챗GPT를 이용하는 사람들보다, 챗GPT아틀라스 브라우저를 설치해 사용하는 사람들이 90% 더 취약하다고 레이어엑스는 경고했다.

취약점 익스플로잇 시나리오

사용자가 챗GPT아틀라스 브라우저를 이용해 웹을 탐색하면, 브라우저는 챗GPT의 에이전트 기능을 활용해 웹 페이지의 콘텐츠를 학습하고 요약하는 등 여러 가지 작업을 수행한다. 이 때 브라우저는 특정 콘텐츠를 일단 읽어들이는 과정을 거치게 되는데, 그 콘텐츠에 미리 악성 지시문을 삽입해 두면 인공지능이 이를 처리할 수밖에 없게 된다는 것이 레이어엑스 측의 설명이다.

“챗GPT를 비롯해 여러 대형 언어 모델(LLM)들은 보호 장치를 내포하고 있긴 하지만, 특정 콘텐츠를 특정 상황에서 여과 없이 받아들이기도 합니다. 그래서 악성 주입 공격이 발생할 수 있는 것이죠. 챗GPT아틀라스에서 사용되는 건 챗GPT의 ‘에이전트’인데, 이 에이전트의 작동 원리는 원래 챗GPT와는 조금 다릅니다. 특정 콘텐츠를 자신의 작업거리로 해석하면, 내용을 판단하지 않은 채 해당 콘텐츠 내 요청을 수행합니다.” 레이어엑스의 설명이다.

이러한 특성을 악용할 경우 공격자는 사용자가 방문해 처리할 웹사이트에 미리 악성 지시문을 삽입함으로써 몰래 계정을 생성하거나, 특정 명령을 실행시키거나, 파일시스템에 접근하는 등의 공격을 할 수 있게 된다. “게다가 에이전트 메모리 기능이 대화의 맥락을 유지한다는 점도 위험하게 작용합니다. 맥락을 유지한다는 건 메모리에 이전 수행 작업들이 저장된다는 것인데, 이는 즉 익스플로잇 공격이 특정 장비에 한정되지 않는다는 뜻입니다. 세션만 이어진다면, 여러 장비에서 같은 공격을 할 수 있게 되는 것이죠. 공격 지속성 확보에 매우 유리한 조건입니다.”

챗GPT아틀라스에 피싱 보호 기능이 강력하게 내장되어 있지 않다는 것도 문제로 지적됐다. “이 때문에 일반적인 소셜 엔지니어링 공격을 실행시킬 수도 있게 됩니다. 즉 콘텐츠 내에 악성 링크를 삽입하면 에이전트가 여기에 접속한다는 것이죠. 기존 브라우저들에 있는 무난한 피싱 보호 기능만 있어도 하지 않을 작업을 하는 것이라 할 수 있습니다.” 오픈AI가 인공지능 모델 개발에 있어서는 뛰어나지만, 브라우저 시장에서는 아직 초보라는 것이 드러나는 지점이다. 회사의 유명세가 곧바로 ‘신뢰’로 이어지면 안 되는 이유다.

어떻게 대처해야 하나

레이어엑스가 자사 블로그에 게시한 글에 따르면 “이 위협에 모두가 노출돼 있다”고 한다. 특히 ‘챗GPT’나 ‘오픈AI’와 같은 유명 브랜드가 가지고 있는 신뢰도에 더해, 인공지능 기술 자체에 대한 사람들의 기대감이 더해져 이 취약점을 더 위험하게 만든다고 한다. “웹사이트 콘텐츠에 미리 악성 지시문을 삽입하는 간단한 작업만으로도 챗GPT아틀라스 사용자들을 속일 수 있다는 것, 즉 공격 난이도가 낮다는 것도 사태를 악화시키고 있습니다.”

챗GPT의 인기를 생각하면 챗GPT아틀라스의 인기 역시 급상승할 것이라 예상할 수 있으며, 만약 챗GPT아틀라스를 시험해보고자 하는 사용자들이 빠르게 늘어난다면 이번에 발견된 공격 기법만으로도 대량의 계정을 빠르게 표적 삼아 공격할 수 있을 것이라고 레이어엑스는 경고한다. “장비나 세션에 국한되지 않고 공격을 이어갈 수 있기 때문에 공격 확산 속도는 걷잡을 수 없을 정도로까지 증가할 수 있습니다. 브라우저를 단순 인터넷 탐색 도구로만 사용하는 일반 사용자들도 위험합니다.”

그럼에도 챗GPT아틀라스를 사용해보고 싶다면 다음과 같은 조치를 취할 수 있다고 레이어엑스 측은 권장한다.
1) 민감 계정을 사용할 일이 있다면 아직 챗GPT아틀라스로는 하지 말 것.
2) 낯선 링크는 클릭하지 말고, 중요한 작업을 할 때만큼은 일반 브라우저를 사용할 것.
3) 에이전트가 어떤 작업을 수행했는지 정기적으로 확인 및 검토하고, 예상 밖의 행동이 없었는지 확인할 것. 그리고 안전이 확보되는 작업만 지시할 것.
4) 회사 내에서 인공지능 브라우저를 사용한다면, 해당 브라우저가 설치된 엔드포인트를 고위험군으로 분류해 모니터링할 것. 망에서 분리시킬 것.
5) 오픈AI가 챗GPT아틀라스를 업데이트할 것이므로 소프트웨어를 항상 최신 상태로 유지할 것.

by 문가용 기자(anotherphase@thetechedge.ai)


모든 인공지능 브라우저 공략하는 사이드바스푸핑 공격
💡Editor’s Pick - 코멧과 챗GPT아틀라스 등 속속 등장하는 인공지능 브라우저 - 악성 플러그인 통해 사이드바 위장하면 각종 공격 가능 - 신기술에 대한 높은 신뢰도와 낯섦 모두 공략하는 기법 인공지능 기반 브라우저들을 위험에 빠트릴 수 있는 기법이 새롭게 발견됐다. 일명 ‘사이드바 스푸핑(sidebar spoofing)’이라고 하는 이 기법은 “브라우저 플러그인을 통해
퍼플렉시티 기반 코멧 브라우저, 알고 보면 악성 내부자?
💡Editor’s Pick - 에이젠틱 인공지능 브라우저 코멧, 민감 데이터에 자동 접근 - 프롬프트 주입 공격과 같은 듯 달라...더 교묘하고 권한 높아 - 인공지능 사용에 있어 보안 정책 강화되어야 유명 인공지능 모델인 퍼플렉시티(Perplexity)를 겨냥한 새로운 공격 기법이 발견됐다. 정확히는 퍼플렉시티의 에이젠틱 인공지능 브라우저(agentic AI browser)인 코멧(

Read more

파일 공유 시스템과 백신의 만남, 공격의 새로운 통로

파일 공유 시스템과 백신의 만남, 공격의 새로운 통로

💡Editor's Pick - 파일 공유 시스템 트리오폭스에서 발견된 초고위험도 취약점 - 이 취약점 통해 설정 파일에 접근해 백신 파일 경로 조작 - 조작된 경로 통해 악성 스크립트 실행 파일 공유 소프트웨어이자 원격 지원 도구인 트리오폭스(Triofox)에서 발견된 취약점이 현재 실제 공격에 악용되고 있다고 구글 맨디언트(Mandiant)가

By 문가용 기자
모의해킹의 현실과 CVE 활용의 한계 — ASM 기반 실무적 대응 프레임워크

모의해킹의 현실과 CVE 활용의 한계 — ASM 기반 실무적 대응 프레임워크

💡Editor Pick - CVE에 등장하는 취약점 대응 미흡 - 취약점의 패치 결정 및 효과적인 대응 방향성 수립 필요 - ASM과 PTaaS, Intelligence 연계 통한 대응 프레임워크 제안 최근 기업 보안 점검의 핵심 수단으로 자리 잡은 모의해킹과 취약점 점검은 여전히 현실적 제약에 직면해 있다. “공격자보다 먼저 약점을 발견한다”는 목표는 유효하지만,

By Donghwi Shin
미지의 아카이브투데이 운영자, 드디어 밝혀지나

미지의 아카이브투데이 운영자, 드디어 밝혀지나

💡Editor's Pick - 아카이빙 한다며 웹사이트 자료 가져갔던 아카이브투데이 - 사이트 운영자는 오랜 시간 익명...운영도 불투명 - FBI가 도메인 등록소에 공문 보내놓은 상태 미국 연방수사국(FBI)이 웹 아카이브 사이트인 아카이브투데이(archive.today)의 운영자를 찾아나섰다. 이 사이트는 archive.is나 archive.ph라는 도메인을 통해 운영되며, 전 세계

By 문가용 기자
대형 언어 모델과의 대화 내용 추론케 하는 ‘위스퍼리크’

대형 언어 모델과의 대화 내용 추론케 하는 ‘위스퍼리크’

💡Editor's Pick - MS, 여러 언어 모델들 통해 프롬프트 추론 공격에 성공 - 특정 주제에 대한 응답 나올 때 발생하는 네트워크 패턴 있어 - 이 패턴만 파악하면 암호화 기술도 무력화 할 수 있어 대형 언어 모델을 원격에서 공략할 수 있는 기법이 새롭게 발견됐다. 이를 공개한 마이크로소프트는 해당 기법에

By 문가용 기자