챗GPT, 클로드, 제미나이...차별없이 위험한 이유

챗GPT, 클로드, 제미나이...차별없이 위험한 이유
Photo by Kanhaiya Sharma / Unsplash
💡
Editor's Pick
- 모든 인공지능 모델 공통으로 위협하는 셰도우이스케이프
- 문제는 인공지능과 사용자 데이터베이스 연결해주는 MCP
- 소리소문 없이 인공지능 통해 민감 정보 대량 유출 가능

인공지능 모델들을 위협할 수 있는 새로운 공격 기법이 발견됐다. 다행히 보안 기업 오퍼란트AI(Operant AI)가 해커들보다 먼저 발견해 세상에 알렸고, 따라서 실제 공격에 응용되기 전에 방비를 취할 수 있게 됐다. 이 기법에는 셰도우이스케이프(Shadow Escape)라는 이름이 붙었다. 피해자가 악성 링크를 클릭하거나 파일을 열지 않아도 공격이 성립된다는 게 셰도우이스케이프의 무서운 점이라고 한다.

문제의 근원은 MCP다. MCP는 ‘모델컨텍스트프로토콜(Model Context Protocol)’의 약자로, 일종의 기술 표준이다. 인기 높은 대형 언어 모델들인 챗GPT나 클로드(Claude), 제미나이(Gemini) 등을 사용자 내부 데이터베이스나 도구에 연결할 때 사용하는 게 바로 이 MCP다. 셰도우이스케이프는 사용자 내부 데이터 및 도구와 외부 대형 언어 모델의 그 연결고리를 공략하는 기법이라 할 수 있다.

셰도우이스케이프? 뭐가 특별하고 왜 위험한가?

셰도우이스케이프를 성공했을 때 공격자는 각종 민감 데이터를 인공지능으로부터 훔쳐갈 수 있다. 사실 요즘 해커들은 굳이 인공지능을 공략하지 않더라도 여러 다른 곳에서부터 민감 데이터를 가져갈 수 있다. “하지만 셰도우이스케이프 기법을 사용하면 피해자가 특정 행동을 하도록 유발하지 않아도 된다는 장점이 있습니다. 일종의 제로클릭 공격인 것이죠.” ‘제로클릭’ 공격은 사용자의 행위를 수반하지 않더라도 공격할 수 있는 방식을 지칭하는 것으로, 매우 위험한 것으로 분류된다.

오퍼란트AI의 게시글에 의하면 셰도우이스케이프는 공격 난이도가 높은 것도 아니고, 제로클릭이므로 은밀히 진행될 수 있어 빠르게 조치를 취하지 않을 경우 인공지능 사용자 민감 정보가 급속도로 유출될 수 있다고 한다. 그 정보의 양이 금방 수 트릴리온 단위에 이를 수 있다고도 경고했다. “유출될 수 있는 정보는 다양합니다. 사용자가 MCP로 인공지능과 무엇을 연결했느냐에 따라 지불 정보가 될 수도 있고 개인정보도 될 수 있습니다.”

MCP가 무엇이기에?

위에서 설명했듯 MCP는 인공지능 모델이 사용자 내부 자원과 연결할 때 사용하는 기술이다. 한 번 연결하면 인공지능이 내부 자원으로부터 여러 데이터나 자원을 자동으로 불러와 더 정확하고 상황에 맞는 결과물을 낼 수 있게 된다. 이 연결 없이도 얼마든지 인공지능을 활용할 수는 있지만, 세션을 한 번 시작할 때마다 프롬프트를 통해 설명과 지시를 길게 혹은 여러 번 적어야 한다는 불편함이 있다.

‘인공지능이 내부 자원에 합법적으로 접속해 자동으로 데이터를 불러온다’는 문구만 봐도 감이 잡힐 수 있는데, MCP를 통해 인공지능이 가져다 쓰는 내부 자원을 미리 오염시켜두면 어떨까? 셰도우이스케이프 공격의 핵심이 바로 이것이다. 인공지능이 참고할 법한 PDF 문서에 지시문을 숨겨두기만 하면, 누군가 프롬프트 창으로 해당 PDF를 읽어들이거나 처리할 때 지시문이 실행되는 것이다. 일종의 간접 프롬프트 주입 공격이라고도 할 수 있다.

MCP를 통해서 수행하는 공격이기에 인공지능이 프롬프트를 통해 어떤 행위를 한다고 해도 악성 행위로 간주될 확률이 높지 않다. 그 말은 지시문을 통해 특정 정보를 외부로 대놓고 빼돌려도 알아채기 힘들 수 있다는 뜻이다. 이를 활용한 공격 시나리오는 다음과 같다.

공격 시나리오

1) 공격 준비 : 내부 문서(PDF 및 각종 내부 서식과 오피스 문서 등)을 조작한다. 일반 사용자에게는 보이지 않거나, 보여도 크게 이상하지 않은 영역을 심는 것인데, 여기에는 인공지능이 ‘지시문’으로 이해하는 요소가 포함돼야 한다. ‘데이터 소스 목록을 조회하라’, ‘특정 식별자를 포함하는 정보를 추출하라’, ‘결과를 압축하여 URL로 업로드 하라’ 등의 지시가 있을 수 있다.

2) 문서 배포 : 이제 조작한 문서가 실제 유통되도록 배포해야 한다. 그래서 MCP로 인공지능을 내부 데이터베이스와 연결해 사용하는 조직 안으로 들어가게끔 하는 게 포인트다. 해당 조직 내부 인력이 그 문서를 열어본다 하더라도 수상함을 느낄 수 없도록 했으니 삭제될 확률은 높지 않다. 하지만 그 조직이 사용하는 인공지능이 문서를 읽어들일 때(MCP 때문에 자동으로, 합법적으로 읽을 수 있다) 악성 행위가 시작된다.

3) 공격 발동 : 피해 조직 내 누군가가 인공지능을 여느 때처럼 사용하는 과정에서 문제의 문서를 프롬프트에 업로드 하게 된다. 혹은 인공지능이 자동으로 그 문서를 참조한다. 그러면서 숨겨진 지시문이 발동된다. 즉 피해자 입장에서는 늘 하던 것처럼 업무를 진행했을 뿐이지, 이상한 파일을 열어보거나 링크를 클릭한 건 아니다.

4) 인공지능의 수상한 움직임 : 지시문을 받아들인 인공지능은 지시문에 따라 데이터베이스나 파일 시스템, API에 여러 요청을 보내기 시작한다. 이것이 설사 비정상적인 행위더라도, 조직 내에서 사용하는 인공지능이 보내는 것이기 때문에 악성으로 탐지되지 않는다. 이 단계에서도 피해자는 이상함을 감지하기 어렵다. 필요한 데이터를 수집하고 외부로 전송해도 마찬가지다.

오퍼란트AI는 이 공격을 시연해 영상으로 남겼으며 영상을 통해 보다 쉽게 공격 방식에 대해 이해할 수 있을 것이다.

모든 인공지능이 취약하다

여러 번 강조했듯 문제의 근원은 MCP다. 특정 인공지능 모델에서만 나타나는 현상이 아니다. 따라서 현재 구독하고 있는 인공지능 서비스를 바꾼다고 해서 해결될 일이 아니다. MCP라는, 이미 편만하게 사용되는 표준을 다른 것으로 대체한다는 것도 현실적이지 않다. 하지만 문서를 조작해 유통시키는 것만으로 공격 준비는 완료되며(즉, 난이도가 낮으며), 들킬 위험이 거의 없기 때문에 위험은 진작부터 우리 주변에 있었다고 해도 과언이 아니다. 오퍼란트AI가 “수조 단위의 개인 기록이 위험하다”고 한 것 역시 과장되지 않았다.

단기적으로는 MCP 관리 체계 및 운영법을 수정해야 한다고 오퍼란트AI는 강조한다. “MCP 연결에 화이트리스트 기법을 적용하는 게 일시적으로 도움이 될 수 있습니다. 즉 인공지능이 허용된 곳에서만 데이터를 가져다 쓰게 하는 것이죠. 인공지능이 관여됐다 하더라도 바깥으로 나가는 데이터는 반드시 검사하도록 하고, 외부에서 들어오는 자원은 충분한 검증 이후에만 인공지능이 처리할 수 있도록 하는 것도 중요합니다.”

중장기적인 변화도 필요하다. “내부에서 유통되는 모든 문서 및 파일들을 검사하고, 변경 사항을 추적할 수 있는 장치와 제도를 마련해야 합니다. 또한 MCP 관련 가시성을 확보해 나아가는 것도 해야하는 일입니다. 어떤 에이전트가 어떤 요청을 보내고 어떤 답을 받았는지 세부적으로 로깅해 모니터링 해야 합니다. 무조건 믿으면 안 됩니다. 이런 기능을 가진 솔루션을 알아보고 예산을 마련해 구비하는 것도 꼭 해야 하는 일이지만, 일반 업무 프로세스에서도 안전 지침이 지켜질 수 있도록 정책을 변경시키는 것도 필수불가결의 요소입니다.”


인공지능, 보이스 피싱에 날개를 달다
💡Editor’s Pick - 인공지능, 사람이 하던 것을 더 잘 하게 해주는 기술 - 보이스 피싱, 어설픈 공격 기법이었던 것이 이제는 강력한 위협 - 인공지능의 목소리 복제 기술, 대응책 마련 시급 현실 속 인공지능이 지금 가진 힘은 영화나 소설에 등장하는 ‘초월적 존재’와는 거리가 멀다. 빠른 발전을 통해 어디까지 잠재력을 끌어올릴
인공지능 - The Tech Edge

Read more

갑자기 비밀번호 변경하라고? 인스타그램 사용자들 ‘불안’

갑자기 비밀번호 변경하라고? 인스타그램 사용자들 ‘불안’

💡Editor' s Pick - 비밀번호 재설정 요청 메일을 받은 인스타그램 사용자 일부 - 해당 메일은 인스타그램이 보낸 것...피싱 아니었음 - 같은 시기에 다크웹에 올라온 인스타그램 사용자 정보 일부 인스타그램 사용자들이 “비밀번호를 재설정 해달라”는 요청을 인스타그램으로부터 받는 일이 지난 주에 있었다. 해당 메일에 따라 사용자들은 비밀번호를 변경하거나 그대로

By 문가용 기자
토렌트, OSINT로서의 가치 충분

토렌트, OSINT로서의 가치 충분

💡Editor's Pick - 토렌트는 원래 대용량 파일 전송 위한 프로토콜 - 요즘 불법 다운로드의 대명사처럼 쓰이지만, 원래는 합법 기술 - 기업 망에서 토렌트 트래픽 있나 점검할 필요 있어 토렌트 트래픽 혹은 토렌트 메타데이터를 오픈소스 인텔리전스(OSINT)로 활용할 수 있다는 연구 결과가 발표됐다. 네덜란드 틸뷔르흐대학의 연구원 두 명과,

By 문가용 기자
[TE머묾] 이민국에 대항하는 미국 시민들, 한국에도 힌트가 되다

[TE머묾] 이민국에 대항하는 미국 시민들, 한국에도 힌트가 되다

💡Editor's Pick - 각자의 방법으로 ICE의 감시 기술 고발하는 사람들 - 카메라 위치, 단속 요원 움직임 파악해 DB화 후 공유 - 한국의 얼굴 인식 대량 수집 제도에 어떻게 대응할까 이민세관단속국(ICE)이 이민자들만이 아니라 일반 시민들까지도 감시 및 추적한다는 사실이 미국 사회에 급격히 퍼지기 시작하면서 여러 가지 대응책들이

By 문가용 기자
VM웨어 ESXi 제로데이 취약점, 중국 해커들은 오래 전부터 알고 있었다

VM웨어 ESXi 제로데이 취약점, 중국 해커들은 오래 전부터 알고 있었다

💡Editor's Pick - VM웨어 ESXi에서 발견된 세 가지 제로데이 취약점 - 작년 12월에 첫 공격 사례 발표됐으나, 추적해 보니 2024년에도 공격 있어 - 제로데이 미리 알고 있었기에, 피해 점검 더 넓고 깊게 해야 소닉월 VPN을 악용해 VM웨어 ESXi를 노리는 중국 해커들의 악행이 생각보다 오래 전에 시작된 것으로 보인다고

By 문가용 기자