허깅페이스 트렌딩 1위는 오픈AI 사칭한 악성 프로젝트

인기 AI 모델 공유 플랫폼인 허깅페이스(Hugging Face)에서 오픈AI의 오픈웨이트(open-weight) 방식으로 배포된 '프라이버시 필터(Privacy Filter)'를 사칭한 악성 코드 유포 캠페인이 적발됐다. 해당 저장소는 현재 허깅페이스에 의해 차단됐지만, 그전까지 ‘트렌딩 목록’에까지 진입하는 등 꽤나 많은 다운로드 수를 기록했다. 향후에도 추가 피해 사례가 늘어날 수 있을 것으로 예상된다.

오픈웨이트? 프라이버시 필터?

공격자들이 유포한 악성 프로젝트의 이름은 Open-OSS/privacy-filter였다. 이는 지난달 말 오픈AI가 출시한  공식 ‘프라이버시 필터’인 openai/privacy-filter와 매우 유사한 이름이다. 오픈AI가 프라이버시 필터를 공개했다는 사실을 어렴풋하게 알고 있는 사용자들이라면 헷갈리기 충분하다. 심지어 공격자들은 정식 저장소의 설명을 전부 복사해 자신들의 악성 저장소에 똑같이 붙여넣기까지 했다. 수많은 사람들이 소문을 듣고 오픈AI의 소프트웨어를 가져가려다 이 악성 프로젝트를 다운로드 받은 것으로 분석된다.

‘프라이버시 필터(Privacy Filter)’는 애플리케이션에 강력한 개인정보 보호 및 보안 기능을 통합하는 것을 목표로 만들어진 AI 모델로, 오픈AI가 지난 4월에 처음 공개했다. 이 모델은 ‘오픈웨이트’라는 방식으로 배포됐다. 모델의 두뇌에 해당하는 수치 데이터(가중치, weight)를 대중에게 공개함으로써 누구나 자기 컴퓨터에 내려받아 실행할 수 있게 하는 것이 바로 이 ‘오픈웨이트’ 방식이라 할 수 있다. 비유하자면 프라이버시 필터는 ‘X라면’이라는 특정 상품명이고, 오픈웨이트는 그 라면을 식당에서만이 아니라 집에서 누구나 끓여 먹을 수 있도록 간편 포장된 형태라 할 수 있다. ‘오픈웨이트 방식으로 배포된 AI 모델인 프라이버시 필터가 사칭됐다’고 정리 가능하다.

사용자들을 어떻게 속였나

보안 기업 히든레이어(HiddenLayer)가 발표한 바에 의하면 공격자들은 매우 교묘한 방식으로 피해자들을 속였다고 한다. “패키지 이름과 경로를 오픈AI의 공식 저장소의 그것과 흡사하게 설정한 것은 물론 모델의 성능, 용도, 라이선스 등을 설명하는 페이지도 토씨 하나 틀리지 않고 그대로 베꼈습니다. 해당 악성 패키지는 24만 4천회 다운로드와 667개 ‘좋아요’를 기록하기도 했는데, 이는 공격자가 사용자의 의심을 피하기 위해 조작한 숫자로 보입니다.”

그런 후 공격자들은 사용자가 반드시 건드려야 하는 파일들에 악성코드를 심었다. “그런 파일들 중 하나가 loader.py였습니다. 리눅스와 맥OS 사용자들을 노린 것으로 보이며, 실행 시 악성 페이로드를 원격에서 가져와 실행합니다. start.bat이라는 파일에도 악성코드가 있었습니다. 윈도 사용자들을 위한 배치 파일로, 실행 시 감염 프로세스가 시작됩니다.”

악성 저장소에는 탐지 회피 및 권한 상승을 위한 도구들도 포함돼 있었다. “보안 연결 검사를 무력화하기 위해 SSL 검증을 비활성화 하기도 했고, 공개 제이슨(JSON) 저장 서비스인 제이슨 키퍼(JSON Keeper)를 활용하여 저장소를 수정하지 않고도 공격 명령을 실시간으로 변경할 수 있게 했습니다. 권한 상승 프롬프트를 띄워 관리자 권한을 획득하려 시도하기도 했고, MS 디펜더 검사 제외 항목에 자신을 등록해 보안 솔루션을 무력화 하기도 했습니다.”

최종 페이로드는 인포스틸러

그런 여러 장치들로 피해자들을 속인 뒤 확산되는 것은 러스트 기반의 인포스틸러였던 것으로 분석됐다. 아직 이름이 붙지는 않았다. 하지만 기능들은 확인됐는데 “크롬 및 파이어폭스 계열 브라우저에 저장된 크리덴셜과 쿠키, 자동 완성형 데이터, 신용카드 정보, 암호화폐 지갑 관련 정보를 훔치는 기능을 가지고 있었습니다. 디스코드와 같은 주요 커뮤니케이션 도구의 인증 토큰과 파일질라(FileZilla) 같은 FTP 클라이언트의 설정 파일을 찾아 비밀번호를 빼가기도 합니다.”

뿐만 아니라 시스템을 장악하고 감시하기도 했다. “스크린샷을 촬영해 사용자의 현재 화면을 공격자에게 전송하기도 했는데, 이를 통해 보안 문구나 뱅킹 화면 등을 훔쳐보는 게 가능합니다. 그 외 PC 사양이나 OS 정보, IP 주소 등 시스템 전반의 정보와 메타데이터 등도 수집했습니다. 그러면서도 환경을 확인하여 샌드박스나 디버거 기능을 회피하기도 했고, 실행 뒤 2초 만에 자기 자신을 삭제하는 특징도 가지고 있었습니다.”

수집된 데이터는 제이슨 형식으로 정리돼 공격자의 서버로 전송됐다고 한다. “사용자가 오픈AI가 출시한 새 모델을 잠깐 설치해보려던 찰나, 단 몇 초만에 브라우저 비밀번호부터 코인 지갑까지 모든 자산 정보를 도난당하게 됩니다.” 이 때문에 히든레이어 측은 공격자가 멀웨어를 단발성으로만 실행했을 것으로 의심하고 있다. “일종의 치고 빠지기 전략을 구사한 것 같습니다. 그랬을 때 추적이나 분석이 매우 힘들게 되거든요. 물론 자기 자신도 데이터를 지속적으로 가져가기 힘들어지긴 하지만요.”

피해 규모

아직 정확한 피해 규모가 집계되지는 않았다. 해당 공격의 특성상 정확한 집계는 앞으로도 어려울 것으로 예상된다. “다만 이번에 사용된 악성 모델은 허깅페이스에서 18시간 동안 트렌딩 1위에 올라 있었습니다. 수많은 사용자가 노출됐을 것이고, 심지어 다운로드까지 했을 것으로 예상됩니다. 또한 최소 7개의 저장소에서 동일한 수법이 발견되기도 했습니다. 공격자가 매우 넓게 그물을 쳐놓았음을 알 수 있습니다. 피해 규모를 집계하기는 어렵겠지만, 피해자가 적지 않을 것으로 예상됩니다.”

히든레이어 측은 이 캠페인의 배후에 실버폭스(Silver Fox)라는 해킹 조직이 있을 것으로 의심하고 있다. “이번 공격에 사용된 악성 서버 중 하나가 과거 실버폭스 캠페인에서 발견된 서버와 동일합니다. 당시 실버폭스는 밸리랫(ValleyRAT) 4.0이라는 멀웨어를 유포하고 있었습니다. 또한 실버폭스는 npm이라는 또 다른 코드 저장소에서 비슷한 캠페인을 실행한 바 있습니다. 이들은 이런 류의 공급망 공격에 매우 능숙한데, 이번에도 비슷한 수법이 활용됐습니다. 실버폭스는 중국 해킹 그룹 중 하나입니다.”

어떻게 방어하나?

이런 식으로 저장소가 가진 혹은 기업이 가진 ‘신뢰도’를 공격에 악용하는 사례는 무수히 많으며, 앞으로는 더 많아질 예정이다. 그러므로 오픈소스 패키지나 AI 모델을 무료로 다운로드 받을 때의 기준을 엄격하게 정하는 게 중요하다. 히든레이어는 “저장소의 신뢰성을 다각도로 검증하는 게 중요하다”고 강조한다. “주소도 여러 번 확인하세요. 업로드 시간 대비 다운로드 수가 지나치게 많은지 않은지도 고민해볼 필요가 있습니다. .py나 .bat, .sh 파일을 꼼꼼히 살피는 것도 반드시 거쳐야 하는 과정입니다.”

다운로드 된 모델이나 패키지, 컨테이너를 실행시킬 땐 별도의 가상기계나 샌드박스 환경에서 하는 게 안전하다고 히든레이어는 권고한다. “대부분의 기업이나 개발 환경에서 이는 이미 강조되는 사안일 겁니다. 하지만 잘 정착되지는 않죠. 업무 프로세스 혹은 습관과 관련된 것이기 때문입니다. 다운로드 받아 직접 실행시키는 게 편하지, 중간에 가상기계를 거쳐서 확인하는 건 시간도 많이 걸리고 귀찮거든요. 그래서 이걸 더 강조할 수밖에 없어요. 외부에서 다운로드 받은 건 반드시 별도의 환경에서 테스트 하는 습관을 들여야 합니다. 여기에는 왕도가 없습니다.”

혹여 최근 해당 패키지를 다운로드 받았거나 받은 것으로 의심될 경우 후속 피해를 막는 데 집중해야 한다. “모든 계정의 비밀번호를 변경하고 로그아웃부터 해야 합니다. 암호화폐 지갑 내 자산은 이동하고, 2단계 인증을 재설정하는 것도 필수입니다. 이렇게 해야 공격자들이 이미 가진 정보를 활용해 후속타를 날리지 못합니다. 그런 다음 시스템을 포맷하고 정밀 검사해서 멀웨어를 삭제해야 합니다. 개발자라면 자신의 허깅페이스 토큰을 삭제하고 새로 발급받는 걸 권합니다.”🆃🆃🅔

by 문가용 기자(anotherphase@thetechedge.ai)

Related Materials

• 오픈AI의 Privacy Filter 모델을 사칭한 악성 저장소 'Open-OSS/privacy-filter'가 Hugging Face 트렌딩 1위에 올라 24만 다운로드를 기록한 뒤, 윈도 정보탈취 악성코드를 배포한 사건을 분석한 기사 - 조선비즈 , 2023년
• Hugging Face에서 발견된 100개 이상 악성 AI/ML 모델이 코드 실행을 통해 백도어 설치·데이터 유출을 유발하는 위험성을 분석한 보안 정보 「Hugging Face의 악성 AI 모델, 사용자의 컴퓨터에 백도어 전파 분석」 - WinsTechNet , 2024년
• Wiz 보안연구팀이 Hugging Face의 Pickle 기반 모델 취약점을 발견해 데이터 침해·RCE 공격이 가능하다고 공개한 기사 「인공지능 모델 공유 플랫폼 허깅페이스에서 위험한 취약점 발견돼」 - 보안뉴스 , 2024년
• Hugging Face의 4,023개 모델 중 59%가 안전하지 않은 직렬화 형식 사용, 96% 악용 가능, 14개 악성 모델 발견을 분석한 논문 리뷰 「A Large-Scale Exploit Instrumentation Study of AI/ML Supply Chain Attacks in Hugging Face」 - TheMoonlight , 2024년

인공지능 때문에 늘어나는 자동화 트래픽, 보안 사고의 씨앗

💡Editor’s Pick - 자동화 트래픽 크게 늘리는 인공지능 서비스들 - 나쁜 트래픽 아니어도 ‘봇 트래픽 증가’ 만으로도 문제 - 통제 불가능한 수준이 되는 것이 불안의 근원...가시성 확보 필요 LLM이 인기를 끌면서 인공지능이 대중화 되기 시작했다. 이 때문에 봇 트래픽이 급격히 증가하는 중이다. 동시에 자동화 기술이 발전하고 광범위하게 도입되면서 자동화

더테크엣지(The Tech Edge)문가용 기자