퍼플렉시티 기반 코멧 브라우저, 알고 보면 악성 내부자?
- 에이젠틱 인공지능 브라우저 코멧, 민감 데이터에 자동 접근
- 프롬프트 주입 공격과 같은 듯 달라...더 교묘하고 권한 높아
- 인공지능 사용에 있어 보안 정책 강화되어야
유명 인공지능 모델인 퍼플렉시티(Perplexity)를 겨냥한 새로운 공격 기법이 발견됐다. 정확히는 퍼플렉시티의 에이젠틱 인공지능 브라우저(agentic AI browser)인 코멧(Comet)이 공격 대상이며, 그래서 이 기법에는 코멧재킹(CometJacking)이라는 이름이 붙었다. 이와 관련된 상세한 내용은 보안 업체 레이어엑스(LayerX)가 보고서를 통해 발표했다.
에이젠틱 인공지능 브라우저?
이 공격에 대해 이해하려면 먼저 ‘에이젠틱 인공지능 브라우저’가 무엇인지 알아야 한다. 이는 비교적 새로운 개념의 기술이라, 한글명이 딱히 없으며, 심지어 ‘에이젠틱’이라고도 표기되고 ‘에이전틱’이라고도 표기된다. 이 ‘에이젠틱’ 혹은 ‘에이전틱’은 에이전트(agent)에서 나온 말로, ‘대행자’ 혹은 ‘대리자’의 의미를 갖는다. 즉, 어느 정도는 대신 행동하고 대신 결정할 수 있다는 것으로, 원 의사 결정자의 뜻을 단순 전달하거나 중개하는 것보다 한 차원 더한 도움을 제공한다는 걸 뜻한다.
‘에이젠틱 인공지능’은 단순 명령 실행을 위주로 한 도우미형 인공지능과 달리 목표 지향적으로 행동하고, 외부 도구나 서비스를 스스로 호출하거나 연결할 수도 있으며, 이전 대화나 행동을 바탕으로 다음 대화나 행동을 판단해 고르고, 자동화 된 의사 결정과 작업 실행도 가능하다. 프롬프트를 입력해야만 움직이는 것과 달리, 스스로 판단하고 웹 내 활동도 할 수 있는 인공지능이다.
‘인공지능 브라우저’는 기존 브라우저와 달리 보다 능동적으로 움직이는 브라우저를 가리킨다. 기존 브라우저는 사용자가 요청한 페이지를 화면에 출력하는 것이 전부였다. 하지만 인공지능이 내장돼 있으면 웹 탐색, 정보 요약 등까지도 더할 수 있게 된다. 이번에 문제가 된 코멧 브라우저의 경우 웹 검색 결과를 요약하고, 특정 사이트 데이터를 추출해 분석하며, 사용자 계정에 연결해 특정 작업을 자동화 처리할 수도 있었다.
이 모든 걸 합하면 ‘에이젠틱 인공지능 브라우저’가 된다. 스스로 행동할 수 있는 인공지능이 탑재된 브라우저를 말한다. 사용자 대신 인터넷을 검색하고, 요약하고, 일정을 조정하고, 이메일을 작성할 수 있는 브라우저다. 사실상 브라우저가 아니라 보다 자율적으로 행동하는 비서에 가깝다. 코멧이 바로 이런 기술을 지향하고 있다고 할 수 있다.
코멧, 어떤 위험에 노출돼 있나?
자율적으로 여러 작업을 수행하는 브라우저라는 건, 보안의 측면에서 봤을 때 민감한 데이터에 자유롭게 접근하는 기술이라고도 해석이 가능하다. 코멧재킹 공격이 바로 이런 지점을 노린 것으로, 인공지능이 접속할 만한 링크에 악성 프롬프트를 삽입하여, 에이젠틱 인공지능이 이메일이나 캘린더 같은 외부 서비스에 저장된 민감 데이터에 접근해 유출시키는 행위를 뜻한다.
레이어엑스에 의하면 “URL 하나를 제대로 조작하는 것만으로 인공지능 브라우저를 악성 내부자로 전환시킬 수 있다는 걸 증명하는 것이 바로 코멧재킹 공격”이라고 한다. “데이터 탈취 경로가 하나 더 생겼다고만 볼 문제가 아닙니다. 심지어 민감한 데이터가 유출될 수 있다는 것도 코멧재킹의 핵심이 아닙니다. 그런 데이터들과 외부 앱에 접근할 권한을 가지고 있는 에이전트 그 자체를 탈취하는 게 심각한 겁니다. 이미 실험을 통해서 저희는 각종 데이터를 한 번의 클릭으로 가져오는 데 성공했습니다. 에이전트 하나를 공략할 수 있게 되어 가능한 일이었습니다.”
레이어엑스가 설명한 공격 시나리오는 다음과 같다.
1) 코멧에서 처리할 수 있는 URL을 하나 만들어 악의적으로 조작한다.
2) 이 URL을 사용자가 클릭하도록 피싱 공격 등으로 유도한다.
3) 사용자가 클릭하면 에이젠틱 인공지능 브라우저가 URL의 요청 매개변수를 읽고 거기에 담긴 프롬프트를 인공지능 에이전트에 전달한다.
4) 에이전트는 이를 정상적인 프롬프트로 인지하고 실행한다. 당연하지만 전혀 정상적인 지시가 아니다.
5) 에이전트가 프롬프트를 이행하기 위해 자신과 연결된 여러 앱 등에서 데이터를 추출한다.
6) 추출된 데이터는 단순한 인코딩 기술로 난독화 과정을 거친다.
7) 난독화 된 페이로드를 공격자가 요청한 곳으로 전송한다.
요청 매개변수란, 웹 주소 뒤에 복잡하게 붙은 부분을 의미한다. 예를 들어 https://thetechedge.ai라는 주소 뒤에 붙을 수 있는 /?q=hello 등을 의미한다. 코멧재킹은 이 부분에 악성 프롬프트를 교묘히 삽입하는 건데, 이 프롬프트는 인공지능 모델의 프롬프트 창을 거치지 않고 곧바로 에이전트가 실행되도록 한다.
이 과정은 두 가지 면에서 놀랍다고 레이어엑스 측은 강조한다. “사용자가 한 건 무해해 보이는 링크를 한 번 클릭한 것 뿐입니다. 그러나 그 한 번으로 각종 민감 데이터를 잃게 되는 겁니다. 그리고 다른 하나는 공격자가 사용자 크리덴셜을 훔치지 않고도 각종 민감 데이터에 접근할 수 있게 된다는 겁니다. 에이전트를 탈취한 후, 그 에이전트를 통해 공격을 실시하는 것이기 때문에 권한 탈취나 상승에 대해 걱정할 필요가 없습니다.”
일반 프롬프트 공격 아닌가?
또 하나 참고해야 할 건 이 공격이 전통적 의미의 프롬프트 주입 공격과 다르다는 것이다. “웹 페이지 내부 텍스트를 통해 악성 프롬프트를 입력하는 것이 기존의 프롬프트 주입 공격이었습니다. 하지만 여기에서는 URL과 요청 매개변수를 통해 에이전트가 직접 프롬프트를 실행하도록 합니다. 즉 텍스트 형태로 프롬프트 창에 악성 명령을 주입하는 것이 기존 공격이고, 에이전트의 내부 프로세스를 직접 건드려 에이전트가 명령을 실행하도록 하는 것이 이번 공격인 겁니다. 아무래도 내부 프로세스의 신뢰도가 더 높으니 보안 장치에 의해 악성 명령이 걸러질 가능성이 더 낮아집니다.”
기존 프롬프트 주입 공격과 이번 코멧재킹 공격의 주요 차이점은 다음과 같다.
1) 기존 프롬프트 주입 공격은, 텍스트나 업로드 된 파일 등을 통해 인공지능이 콘텐츠를 읽고 작동하도록 한다. 하지만 코멧재킹은 사용자가 클릭 한 번만 해도 에이전트가 이미 프롬프트를 입력 받은 것처럼 작동하기 시작한다.
2) 기존 프롬프트 주입 공격은, 외부에서 입력된 것을 실행하는 것이 기본이라 신뢰도가 낮으며, 시스템이 여러 필터링을 실시한다. 코멧재킹은 내부 프로세스가 발동되는 것이라 그런 과정들을 간단히 뛰어넘을 수 있다.
3) 기존 프롬프트 주입 공격은 입력 값을 제어하고, 콘텐츠 필터링을 강화하는 등으로 약화시킬 수 있다. 코멧재킹은 URL 요청 매개변수가 메모리나 프롬프트를 바꿀 수 없도록 하는 ‘구조적 차단’ 조치가 취해져야 막을 수 있다. 메모리에서 특정 행위를 실행하기 전에 사용자 확인을 요구하는 단계를 삽입하는 것도 좋은 방법이다.
하지만 레이어엑스가 이 내용을 퍼플렉시티 측에 알렸을 때, 퍼플렉시티는 “보안상 영향이 없다”고 답변을 보냈다. 이는 코멧재킹으로 인한 실제 보안 사고 사례가 없었고, 앞으로도 그럴 가능성이 높다는 의미에 가깝다. 즉 퍼플렉시티는 이것이 문제이긴 하나, 실제 대대적 조치를 취할 정도의 큰 사건은 아니라고 판단한 것이다. 그렇게 생각한 이유에 대해서는 아직 명확히 공개된 바가 없다.
인공지능 활용 위한 보안 강화 필요
코멧재킹은 인공지능이 가지고 있는 ‘보안 위협 특성’을 드러내고 있다. ‘인공지능이 보안 위협이 될 수 있다’는 의미다. 인공지능이 보안 위협이 되는 건 크게 두 가지 방향에서의 이야기다. 하나는 공격자들을 도와 공격 행위를 간편하고 효과적으로 바꿔주는 도구로서 인공지능이 역할을 할 수 있기 때문에 나오는 말이다. 실제 많은 피싱 공격자들이 피싱 메시지를 다국어로 매끄럽게 전환할 때 인공지능의 도움을 많이 받는 것으로 알려져 있다. 여러 안전장치를 우회해 멀웨어 제작도 인공지능으로 간편히 하는 사례들도 증가 중이다.
두 번째는 일반 업무 환경에서 사용되는 인공지능 모델 자체를 공략해 사용자의 시스템이나 데이터가 침해받는 가능성에 대한 이야기다. 오피스나 브라우저 등 일반 생산성 도구들이 공격의 통로가 되듯, 인공지능 모델들도 충분히 그럴 수 있다는 의미다. 그러므로 오피스나 브라우저와 같은 앱들을 조심스럽게, 규정에 따라 사용하듯, 인공지능도 안전한 사용법 하에 사용해야 한다. 코멧재킹은 이 두 번째 범주에 해당한다. 안전하게 사용하지 않으면 코멧이라는 편리한 브라우저가 데이터를 탈취하는 악성 내부자로 탈바꿈할 수 있다는 것이다.
코멧재킹을 막으려면 코멧과 같은 에이전트가 어떤 앱에 어떤 권한을 가지고 연결할 수 있는지 확인하고 제어해야 한다. 최소 권한만을 부여하는 게 안전하다. 또한 링크를 클릭했을 때 곧바로 실행되지 않도록 조직 내부적으로 정책을 변경하는 것도 좋은 방법이다. 코멧재킹이 요청 매개변수와 관련이 있다는 것에 착안한다면 요청 문자열에 관한 규칙을 추가하는 것도 생각해봄직하다. 민감한 데이터와 관련된 작업은 자동으로 처리되지 않도록 하고, 반드시 사용자 동의를 구하는 절차가 있어야 한다.
Related Materials
- CometJacking: How One Click Can Turn Perplexity's Comet AI Browser Against You - LayerX, 2024년
- CometJacking attack: A malicious crafted URL can hijack Perplexity's Comet AI browser and steal user data - Risky.Biz, 2024년
- AI agents are the new insider threat. Secure them like human workers - Citrix, 2025년
- Cybersecurity researchers have disclosed details of a new attack called CometJacking targeting Perplexity's agentic AI browser Comet - The Hacker News, 2024년