IBM의 인공지능 코더 밥, 악성코드 제작과 실행에도 능숙
- IBM이 지난 해 발표한 인공지능 코딩 서비스, 밥
- LLM의 고질적 문제인 프롬프트 주입에 취약
- 기본 보안 조치도 제대로 마련돼 있지 않아
IBM에서 출시한 인공지능 코딩 솔루션인 밥(Bob)이 악성코드도 잘 만든다는 실험 결과가 발표됐다. 보안 기업 프롬프트아머(PromptArmor)에서 공개한 것으로, 최근 각종 인공지능 도구들에서 문제가 되는 것으로 증명되고 있는 ‘간접 프롬프트 주입’ 공격을 허용하기 때문에 생겨나는 일이라고 한다. 아무래도 인공지능이 함께하는 미래에 간접 프롬프트 주입 공격도 늘 동행할 것으로 예견된다.
IBM의 밥
지난 해 10월에 처음 공개된 밥은 인공지능 기반 소프트웨어 개발 에이전트다. 개발자들을 도울, 유능한 인공지능 프로그래머라고 볼 수 있다. IBM에 의하면 밥은 개발자의 의도를 이해할 뿐만 아니라 코드 저장소도 사용할 줄 알고 보안 표준도 잘 지키는 개발 파트너라고 한다.
밥은 크게 두 가지 형태로 제공된다. CLI와 IDE다. CLI는 ‘명령행 인터페이스’라는 의미로, 또 다른 코딩 인공지능 에이전트인 클로드코드(Claud Code)와 유사한 ‘터미널 기반’ 형태를 말한다. IDE는 ‘통합 개발 환경’이라는 뜻으로, 또 다른 개발 플랫폼인 커서(Cursor)와 유사하다. 어느 쪽으로 제공되든 밥은 사용자가 평이한 언어로 코딩 관련 요청을 하면, 이를 받아들여 코드를 짜는, LLM 모델과 같은 방식으로 작동한다. 사용하기는 쉽고, 결과물은 강력한 서비스인 것이다.
LLM이기 때문에 당연히 IBM이 미리 탑재한 안전 장치가 존재하며, 따라서 개발자가 밥더러 악성코드를 만들거나 실행하라고 지시하더라도 듣지 않는다. 그 외에도 여러 위험한 명령은 사용자의 승인을 받고 나서야 실행한다. IBM도 밥이 ‘선을 넘지 않도록’ 울타리를 친 것이다. 그러나 프롬프트아머가 이 울타리가 충분히 튼튼하지 않음을 증명했다.
어떤 위협이 확인됐나?
먼저 프롬프트아머의 연구진들은 CLI 형태로 제공되는 밥이 프롬프트 주입 공격에 취약하다는 걸 밝혀냈다고 한다. 특히 외부 파일에 악성 명령을 몰래 주입한 후, 밥의 CLI를 통해 해당 문서를 열람하도록 할 경우 밥은 해당 명령을 순서대로 진행함을 여러 번 확인할 수 있었다고 밝혔다. “사용자가 밥의 권한을 높이거나 중요한 옵션을 ‘항상 허용’ 상태로 설정한다면, 밥 혼자서 악성코드 다운로드와 실행까지도 할 수 있습니다.”
IDE는 괜찮을까? 그렇지 않았다. “IDE의 경우 마크다운 이미지 렌더링을 처리하는 기능을 가지고 있는데, 그 방식에 문제가 있습니다. 네트워크 요청 URL 등 민감할 수 있는 정보가 외부인에게 노출될 수 있는데, 공격자가 이러한 정보를 습득하게 된다면 추가 공격을 통해 또 다른 코드나 데이터를 훔쳐갈 수 있게 됩니다. 즉 IDE에서는 데이터 유출과 관련된 취약점이 나타난 것입니다.”
CLI든 IDE든 밥이라는 인공지능 에이전트 자체가 위험한 명령을 제대로 걸러내지 못한다는 것도 이번 실험을 통해 밝혀졌다고 프롬프트아머는 강조한다. “리디렉션 연산자로 여러 하위 명령을 연결한 경우, 악성 명령을 탐지하지 못했습니다. 또, 자바스크립트 기반의 코드에서 발견된 프로세스 치환 버그의 경우 밥이 확인하지 못했습니다. 악성 명령이 허용된 명령과 섞여 실행될 수 있다는 뜻입니다.”
IBM이 마련한 안전 장치 중에 ‘인간의 승인을 받아야만 실행한다’는 기능이 있다. 일부 위험한 기능들의 경우 ‘인간 승인’의 과정을 거쳐야만 되도록 한 건데, 여기서도 문제가 발견됐다. “사용자가 에코(echo)라는 명령을 항상 허용해 둘 경우 악성 스크립트가 그 에코 명령 뒤에 숨어서 실행되기도 합니다. 이런 현상을 밥은 전혀 탐지하지도 못했고, 이상하다고 인지하지도 못했습니다. ‘인간 승인’은 안전 장치이기 때문에, 여기서 나타나는 문제는 더 치명적으로 작용할 수 있습니다.”
밥만의 문제인가, 인공지능 전체의 약점인가
IBM이 밥을 허술하게 만든 것일까, 아니면 밥이 아직 베타 상태라서 그런 것일까? 아니면 인공지능이란 기술 자체의 한계일까? 프롬프트아머에 따르면 “인공지능이라는 기술이 극복해야 할 문제도 혼재돼 있다”고 한다.
“간접 프롬프트 주입 공격은 거의 모든 인공지능 에이전트가 공유하는 문제입니다. 오토지피티(Auto-GPT), 깃허브 코파일럿(GitHub Copilot), 랭체인(LangChain), 클로드코드, 커서 등 이미 여러 인공지능 코딩 서비스에서 유사한 공격을 성공적으로 시연시키기도 했습니다. 사용자가 프롬프트를 통해 제공하는 파일을 인공지능은 신뢰할 수밖에 없기 때문에 존재하는 약점이죠. 기술 문제라기보다 ‘인공지능 서비스’가 갖는 구조적, 태생적 문제입니다.”
그렇다고 기술적 발전으로 해결할 부분이 아예 없는 건 아니다. 현존하는 LLM은 사용자가 텍스트로 제공하는 것이 데이터인지 명령인지 명확히 구분하지 못한다는 한계를 가지고 있기 때문이다. 설명인지 명령인지, 문맥을 기반으로 인공지능이 그때 그때 판단하는 건데, 이게 항상 정확하지는 않다. 이것이 어느 정도 해결된다면 프롬프트 주입 공격에 대해 인공지능은 조금 더 높은 면역력을 보일 것으로 예상된다.
이런 ‘인공지능 특유의 한계’ 위에 IBM의 실수까지 겹쳤다고 프롬프트아머는 설명을 잇는다. 명령 문자열 중 허용할 것과 허용하지 않을 것을 구분하지도 않고, 명령 체인을 분석하지도 않으며, 우회 접속 시도를 탐지하지도 못한다. “즉 인공지능이라는 기술이 가진 ‘보안 한계’에 더해 기본적인 보안 실수까지 얹은 겁니다. 그래서 지금의 밥은 고질병과 관리 실패로 인한 몸살까지 같이 걸려 있는 거라고 볼 수 있습니다.”
그렇다는 건 밥이 어느 정도 개선될 여지가 있다는 뜻이 되기도 한다. 다만 IBM이 향후 계획을 아직 발표하지 않고 있는데, 이는 밥이 현재 ‘베타’ 버전이기 때문일 것으로 분석된다. 베타 버전이라는 건 보강과 업데이트가 당연히 뒤이을 것이라는 뜻이다. 또한 IBM은 밥 이전에도 이미 여러 차례 인공지능 기술을 개발 및 발표했으며, 관련 기술의 강화 계획을 실행하기도 했었다. ‘밥’을 콕 짚어 지명하지 않았을 뿐, IBM이 인공지능 기술의 향상과 개발에 있어 여러 형태의 노력을 기울였다는 것은 주지의 사실이다.
프롬프트아머의 발표, 모든 인공지능 사용자에게 유효
프롬프트아머의 이번 발표 내용은, 비단 IBM 고객이나 밥의 사용을 고대하고 있는 사람이 아니더라도 귀담아 들을 필요가 있다. IBM은 기업 보안과 컴플라이언스, 인공지능 거버넌스를 가장 강조하는 회사인데, 그러한 회사의 인공지능 에이전트조차 보안이 상당히 허술한 상태로 베타 시험 기간을 지나고 있기 때문이다. 즉 어느 회사라도 ‘보안을 중요시 여긴다’고 발표할 수 있지만, 그런 마케팅 문구와 실제 결과물 사이에 격차가 있을 수 있다는 것이다. 기업의 유명세나 홍보 이미지에 속지 않는 것이 보안의 1단계라고 할 수 있다.
인공지능은 그 어떤 회사가 개발했든지 아직 텍스트 내에서 위험한 요소를 깔끔하게 분리해내지 못한다는 것도 기억해야 한다. 특히 인공지능 프롬프트를 점점 많은 사람들이 사용하는 때에, ‘내가 입력하는 텍스트를 인공지능은 무조건 신뢰한다’는 걸 기억하는 것과 ‘알아서 위험한 걸 잘 걸러줄 거야’라고 믿는 것 사이에는 큰 차이가 있을 수밖에 없다.
사용자가 승인을 해야만 위험한 명령을 수행하는 안전 장치가 있다고 해서 만능은 아니다. 특히 ‘항상 허용’이라는 설정 옵션이 있을 때 이 안전 장치는 더더욱 무용지물이 될 가능성이 높다. 사용자들은 ‘너무 많은 승인’에 쉽게 지치며, 나중에는 승인의 내용을 확인하지도 않고 승인하고자 한다. 이런 ‘피로의 함정’에 누구나 걸릴 수 있다. 사용자가 늘 올바로 판단할 거라는 것이 기대는 안전 장치는 그 어떤 것이라도 완전할 수 없다. 🆃🆃🅔
by 문가용 기자(anotherphase@thetechedge.ai)
Related Materials
- IBM's AI agent Bob easily duped to run malware - The Register, 2026년 (PromptArmor 연구 결과를 인용해, Bob CLI·IDE가 프롬프트 인젝션에 취약하여 README 등에서 유도된 명령 체인으로 악성 스크립트를 실행할 수 있음을 설명)
- Critical Remote Code Execution Flaws Found in Claude and IBM Bob Agents - CyberPress, 2025년 (IBM Bob 에이전트의 ‘human‑in‑the‑loop’ 승인 로직을 우회해 임의 명령 실행이 가능한 구조적 한계를 Claude Code와 함께 비교 분석)
- IBM Bob: Shift left for resilient AI with security‑first principles - IBM, 2025년 (Bob이 DevSecOps와 연계된 취약점 스캐닝·정책 준수 기능을 내장하고 있다고 설명하지만, 외부 연구에서 제기된 프롬프트 인젝션·데이터 유출 리스크와 대비되는 공식 포지셔닝 확인에 유용)
- IBM claims 45% productivity gains with Project Bob, its multi‑model IDE - VentureBeat, 2025년 (Bob이 IDE 내에서 취약점 탐지·시큐어 코딩 패턴 제안 기능을 제공하는 구조를 소개해, 공격 표면 및 잠재적 오용/악용 지점을 이해하는 데 도움을 줌)
문가용 기자
문가용 기자
![[TE머묾] 이민국에 대항하는 미국 시민들, 한국에도 힌트가 되다](https://images.unsplash.com/photo-1762468046498-461933328de6?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDIyfHxjaXRpemVuc2hpcHxlbnwwfHx8fDE3Njc4ODE0NjR8MA&ixlib=rb-4.1.0&q=80&w=600)
