챗GPT, 클로드, 제미나이...차별없이 위험한 이유

챗GPT, 클로드, 제미나이...차별없이 위험한 이유
Photo by Kanhaiya Sharma / Unsplash
💡
Editor's Pick
- 모든 인공지능 모델 공통으로 위협하는 셰도우이스케이프
- 문제는 인공지능과 사용자 데이터베이스 연결해주는 MCP
- 소리소문 없이 인공지능 통해 민감 정보 대량 유출 가능

인공지능 모델들을 위협할 수 있는 새로운 공격 기법이 발견됐다. 다행히 보안 기업 오퍼란트AI(Operant AI)가 해커들보다 먼저 발견해 세상에 알렸고, 따라서 실제 공격에 응용되기 전에 방비를 취할 수 있게 됐다. 이 기법에는 셰도우이스케이프(Shadow Escape)라는 이름이 붙었다. 피해자가 악성 링크를 클릭하거나 파일을 열지 않아도 공격이 성립된다는 게 셰도우이스케이프의 무서운 점이라고 한다.

문제의 근원은 MCP다. MCP는 ‘모델컨텍스트프로토콜(Model Context Protocol)’의 약자로, 일종의 기술 표준이다. 인기 높은 대형 언어 모델들인 챗GPT나 클로드(Claude), 제미나이(Gemini) 등을 사용자 내부 데이터베이스나 도구에 연결할 때 사용하는 게 바로 이 MCP다. 셰도우이스케이프는 사용자 내부 데이터 및 도구와 외부 대형 언어 모델의 그 연결고리를 공략하는 기법이라 할 수 있다.

셰도우이스케이프? 뭐가 특별하고 왜 위험한가?

셰도우이스케이프를 성공했을 때 공격자는 각종 민감 데이터를 인공지능으로부터 훔쳐갈 수 있다. 사실 요즘 해커들은 굳이 인공지능을 공략하지 않더라도 여러 다른 곳에서부터 민감 데이터를 가져갈 수 있다. “하지만 셰도우이스케이프 기법을 사용하면 피해자가 특정 행동을 하도록 유발하지 않아도 된다는 장점이 있습니다. 일종의 제로클릭 공격인 것이죠.” ‘제로클릭’ 공격은 사용자의 행위를 수반하지 않더라도 공격할 수 있는 방식을 지칭하는 것으로, 매우 위험한 것으로 분류된다.

오퍼란트AI의 게시글에 의하면 셰도우이스케이프는 공격 난이도가 높은 것도 아니고, 제로클릭이므로 은밀히 진행될 수 있어 빠르게 조치를 취하지 않을 경우 인공지능 사용자 민감 정보가 급속도로 유출될 수 있다고 한다. 그 정보의 양이 금방 수 트릴리온 단위에 이를 수 있다고도 경고했다. “유출될 수 있는 정보는 다양합니다. 사용자가 MCP로 인공지능과 무엇을 연결했느냐에 따라 지불 정보가 될 수도 있고 개인정보도 될 수 있습니다.”

MCP가 무엇이기에?

위에서 설명했듯 MCP는 인공지능 모델이 사용자 내부 자원과 연결할 때 사용하는 기술이다. 한 번 연결하면 인공지능이 내부 자원으로부터 여러 데이터나 자원을 자동으로 불러와 더 정확하고 상황에 맞는 결과물을 낼 수 있게 된다. 이 연결 없이도 얼마든지 인공지능을 활용할 수는 있지만, 세션을 한 번 시작할 때마다 프롬프트를 통해 설명과 지시를 길게 혹은 여러 번 적어야 한다는 불편함이 있다.

‘인공지능이 내부 자원에 합법적으로 접속해 자동으로 데이터를 불러온다’는 문구만 봐도 감이 잡힐 수 있는데, MCP를 통해 인공지능이 가져다 쓰는 내부 자원을 미리 오염시켜두면 어떨까? 셰도우이스케이프 공격의 핵심이 바로 이것이다. 인공지능이 참고할 법한 PDF 문서에 지시문을 숨겨두기만 하면, 누군가 프롬프트 창으로 해당 PDF를 읽어들이거나 처리할 때 지시문이 실행되는 것이다. 일종의 간접 프롬프트 주입 공격이라고도 할 수 있다.

MCP를 통해서 수행하는 공격이기에 인공지능이 프롬프트를 통해 어떤 행위를 한다고 해도 악성 행위로 간주될 확률이 높지 않다. 그 말은 지시문을 통해 특정 정보를 외부로 대놓고 빼돌려도 알아채기 힘들 수 있다는 뜻이다. 이를 활용한 공격 시나리오는 다음과 같다.

공격 시나리오

1) 공격 준비 : 내부 문서(PDF 및 각종 내부 서식과 오피스 문서 등)을 조작한다. 일반 사용자에게는 보이지 않거나, 보여도 크게 이상하지 않은 영역을 심는 것인데, 여기에는 인공지능이 ‘지시문’으로 이해하는 요소가 포함돼야 한다. ‘데이터 소스 목록을 조회하라’, ‘특정 식별자를 포함하는 정보를 추출하라’, ‘결과를 압축하여 URL로 업로드 하라’ 등의 지시가 있을 수 있다.

2) 문서 배포 : 이제 조작한 문서가 실제 유통되도록 배포해야 한다. 그래서 MCP로 인공지능을 내부 데이터베이스와 연결해 사용하는 조직 안으로 들어가게끔 하는 게 포인트다. 해당 조직 내부 인력이 그 문서를 열어본다 하더라도 수상함을 느낄 수 없도록 했으니 삭제될 확률은 높지 않다. 하지만 그 조직이 사용하는 인공지능이 문서를 읽어들일 때(MCP 때문에 자동으로, 합법적으로 읽을 수 있다) 악성 행위가 시작된다.

3) 공격 발동 : 피해 조직 내 누군가가 인공지능을 여느 때처럼 사용하는 과정에서 문제의 문서를 프롬프트에 업로드 하게 된다. 혹은 인공지능이 자동으로 그 문서를 참조한다. 그러면서 숨겨진 지시문이 발동된다. 즉 피해자 입장에서는 늘 하던 것처럼 업무를 진행했을 뿐이지, 이상한 파일을 열어보거나 링크를 클릭한 건 아니다.

4) 인공지능의 수상한 움직임 : 지시문을 받아들인 인공지능은 지시문에 따라 데이터베이스나 파일 시스템, API에 여러 요청을 보내기 시작한다. 이것이 설사 비정상적인 행위더라도, 조직 내에서 사용하는 인공지능이 보내는 것이기 때문에 악성으로 탐지되지 않는다. 이 단계에서도 피해자는 이상함을 감지하기 어렵다. 필요한 데이터를 수집하고 외부로 전송해도 마찬가지다.

오퍼란트AI는 이 공격을 시연해 영상으로 남겼으며 영상을 통해 보다 쉽게 공격 방식에 대해 이해할 수 있을 것이다.

모든 인공지능이 취약하다

여러 번 강조했듯 문제의 근원은 MCP다. 특정 인공지능 모델에서만 나타나는 현상이 아니다. 따라서 현재 구독하고 있는 인공지능 서비스를 바꾼다고 해서 해결될 일이 아니다. MCP라는, 이미 편만하게 사용되는 표준을 다른 것으로 대체한다는 것도 현실적이지 않다. 하지만 문서를 조작해 유통시키는 것만으로 공격 준비는 완료되며(즉, 난이도가 낮으며), 들킬 위험이 거의 없기 때문에 위험은 진작부터 우리 주변에 있었다고 해도 과언이 아니다. 오퍼란트AI가 “수조 단위의 개인 기록이 위험하다”고 한 것 역시 과장되지 않았다.

단기적으로는 MCP 관리 체계 및 운영법을 수정해야 한다고 오퍼란트AI는 강조한다. “MCP 연결에 화이트리스트 기법을 적용하는 게 일시적으로 도움이 될 수 있습니다. 즉 인공지능이 허용된 곳에서만 데이터를 가져다 쓰게 하는 것이죠. 인공지능이 관여됐다 하더라도 바깥으로 나가는 데이터는 반드시 검사하도록 하고, 외부에서 들어오는 자원은 충분한 검증 이후에만 인공지능이 처리할 수 있도록 하는 것도 중요합니다.”

중장기적인 변화도 필요하다. “내부에서 유통되는 모든 문서 및 파일들을 검사하고, 변경 사항을 추적할 수 있는 장치와 제도를 마련해야 합니다. 또한 MCP 관련 가시성을 확보해 나아가는 것도 해야하는 일입니다. 어떤 에이전트가 어떤 요청을 보내고 어떤 답을 받았는지 세부적으로 로깅해 모니터링 해야 합니다. 무조건 믿으면 안 됩니다. 이런 기능을 가진 솔루션을 알아보고 예산을 마련해 구비하는 것도 꼭 해야 하는 일이지만, 일반 업무 프로세스에서도 안전 지침이 지켜질 수 있도록 정책을 변경시키는 것도 필수불가결의 요소입니다.”


인공지능, 보이스 피싱에 날개를 달다
💡Editor’s Pick - 인공지능, 사람이 하던 것을 더 잘 하게 해주는 기술 - 보이스 피싱, 어설픈 공격 기법이었던 것이 이제는 강력한 위협 - 인공지능의 목소리 복제 기술, 대응책 마련 시급 현실 속 인공지능이 지금 가진 힘은 영화나 소설에 등장하는 ‘초월적 존재’와는 거리가 멀다. 빠른 발전을 통해 어디까지 잠재력을 끌어올릴
인공지능 - The Tech Edge

Read more

영국 군, 내년도에 대규모 이스포츠 대회 연다?

영국 군, 내년도에 대규모 이스포츠 대회 연다?

💡Editor's Pick for Juniors - 영국 군, 40개 동맹국과 함께 이스포츠 대회 열어 - 내년도에 있을 대규모 워게임 훈련...게임 하듯 진행 - 러우 전쟁 치르는 우크라이나 군에서 많은 아이디어 얻어온 듯 Juniors! 안녕! 테크를 가장 날카롭고 가치 있게 읽어주는 더테크엣지 아빠들이야. 영국 군이 내년에 국제적인 규모의 군사

By 문가용 기자
파일 이름 검색 도구 글롭에서 고위험군 취약점 나와

파일 이름 검색 도구 글롭에서 고위험군 취약점 나와

💡Editor's Pick - 개발자들이 널리 사용하는 도구 글롭 - 그 글롭의 명령행 인터페이스에서 취약점 발견돼 - 파일 이름이 공격 도구로 전환돼 개발자들이 흔히 사용하는 오픈소스 패키지인 글롭(glob)에서 위험한 취약점이 발견됐다. 일반 사용자들이 직접 사용할 일은 거의 없어 대중적으로 낯선 이름이지만, 개발자들은 이를 활용해 여러 가지 도구와

By 문가용 기자
삼성 갤럭시 A와 M 시리즈에 선탑재된 스파이웨어 논란

삼성 갤럭시 A와 M 시리즈에 선탑재된 스파이웨어 논란

💡Editor's Pick for Juniors - 삼성 저가형 스마트폰 시리즈에서 발견된 앱클라우드 앱 - 사실은 지는 여름부터 지적돼 온 스파이웨어 - 이런 스마트폰 문제 쉽게 해결되지 않아...소비자 훈련이 더 중요 Youngsters! 테크를 가장 날카롭고 가치 있게 읽어주는 더테크엣지 아빠들이야. 한국을 대표하는 회사인 삼성에서 프라이버시 침해 논란이 일어났어. 삼성이

By 문가용 기자