"AI 악용 가짜뉴스, CCTV처럼 감지할 수 있는 기술 적용해야"

"AI 악용 가짜뉴스, CCTV처럼 감지할 수 있는 기술 적용해야"
[이미지: AI Generated by TheTechEdge]
💡
Editor Pick
- 사전 훈련된 AI로 악의적 가짜뉴스, 가짜 댓글 '난무'
- 기존 가짜뉴스 탐지 한계...대부분 영어 설계, 한국어 데이터셋 없어
- 댓글 뒤 출처 LLM 밝혀내 세밀한 분석 가능해야

AI기술 발달로 가짜뉴스와 가짜 댓글이 판을 치고 있다. 가짜뉴스와 가짜 댓글은 사전에 훈련된 대형 언어 모델(LLM)을 통해 기만적인 콘텐츠를 만들거나, 악의적 목적으로 사실을 의도적으로 조작해 가짜 정보를 생성한다.

또 공격 대상의 정치적 정당성을 훼손하는 허위 조작 정보를 유포해 여론을 조작하고, 사회 혼란 야기시킨다. 가짜 댓글 역시 짧고 비공식적이며 쉽게 조작된다. 특히 기존 봇 텍스트보다 탐지하기 어렵단 게 전문가 분석이다.

상황이 이렇다 보니 가짜뉴스와 허위조작 정보를 탐지하고 펙트를 체크하는 기술이 갈수록 중요해지고 있다.

하지만 기존 탐지 방법엔 한계가 있다. LLM 탐지 대부분이 긴 형식의 영어 텍스트를 위해 설계됐다. 어휘와 구문 복잡성에 대한 탐지 기술 부족은 통계적 탐지를 제한한다. 뿐만 아니라 훈련을 위한 현실적인 한국어 LLM 생성 댓글 데이터셋이 없다.

고우영 국가보안기술연구소 선임연구원은 '2025 사이버안보 최신 이슈 세미나'에서 LLM 탐지 어려움 해결을 위해 "여러 LLM과 고급 기술을 사용해 현실적인 댓글을 생성해 교육 데이터를 구축해야 한다"며 "LLM과 인간이 작성한 텍스트 간의 문체와 언어적 차이를 식별해 언어 패턴을 추출해야 한다"고 말했다.

그러면서 LLM 생성 유무를 감지하고 속성을 부여하는 프레임워크가 필요하다고 제안했다. 가짜뉴스 탐지 통계는 단어 의미 특성, 문법 특성 분석, 범주 특성 분석 등 다양한 정보로 분석돼야 하고, 펙트 체킹은 주체의 특징, 전문가 신뢰할 수 있는 외부정보(reference)와 비교로 펙트를 체크해야 한단 설명이다.

고우영 선임 연구원은 "각 댓글 뒤에 있는 출처 LLM을 밝혀내어 세밀한 분석이 가능해야 한다"며 "약물 검사나 CCTV와 같은 정확한 감지만으로도 오용을 억제할 수 있는 것처럼 댓글이 노출되고 추적될 수 있단 사실 인지로 사전 예방을 해야 한다"고 강조했다.


[칼럼] AI범죄, 수사기법 선진국 수준으로 법제화 돼야
💡Editor Pick - AI 범죄·부작용, 보안 강화·수사기법·사법 공조 강화해 예방해야 - 정부가 아낌없는 기술 지원해 보안기술 강화 및 확보해야 [칼럼 윤해성 한국형사·법무정책연구원 AI 미래정책연구실장] 영화 레지던트 이블을 보면 AI가 인간을 복제·통제하고 주인공이 설치한 폭탄으로 파괴하면서 소멸한 듯 했으나, 슈퍼컴퓨터 능력으로 자신을 다른 프로그램들에 업로드해 다시
엔비디아, “AI로 수백만 단어 처리 가능”
💡Editor’s Pick - 백과사전 분량 입력하면 버벅거리는 인공지능 - 이를 해결할 방법, 엔비디아가 제시 - DNA 구조에서 영감 얻어 만든 ‘헬릭스 병렬 처리’ 엔비디아(Nvidia)가 현존하는 대형 언어 모델들이 가지고 있는 고질적 문제를 해결했다고 주장했다. 고질적 문제란, 방대한 분량의 텍스트를 분석할 때 ‘집중력’을 유지하지 못하고 중간에 길을 잃는다는
AI 기술 고도화에 해킹 공격도 ‘고도화’
인공지능(AI) 기술이 고도화될수록 AI 기술을 이용한 해킹 공격도 심화되는 양상이다. 북한·러시아·이란·중국 등과 같은 국가배후 해킹 조직은 챗GPT를 활용하거나, 가상자산 탈취 목적의 범죄 조직은 AI를 활용해 일반인 가상 자산을 노린다. 뿐만 아니라 생성형 AI는 악성코드 개발에도 활용된다. 2025년 하반기에는 이러한 AI 기반 공격이 더욱 고도화할 것으로 보인다.

Read more

파이선 리포지터리 PyPI에서 고급 악성 패키지 발견돼

파이선 리포지터리 PyPI에서 고급 악성 패키지 발견돼

💡Editor's Pick - soopsocks라는 악성 패키지, 2600번 다운로드 돼 - SOCKS5 프록시 생성 후 여러 악성행위 실시 - 공공 리포지터리의 안전한 활용 위한 대책 도입 시급 파이선 생태계의 코드 리포지터리인 PyPI에서 악성코드가 유포되고 있다는 사실이 발견됐다. 이번 악성 패키지는 일종의 백도어 기능을 가지고 있다고 한다. SOCKS5 프록시 서비스를

By 문가용 기자
오라클 자산 관리 솔루션 노리는 캠페인 성행, 혹시 클롭?

오라클 자산 관리 솔루션 노리는 캠페인 성행, 혹시 클롭?

💡Editor's Pick - 대기업 자산 관리 솔루션 노리는 공격 - 데이터 훔쳤다는 협박 메일로부터 공격 시작 - 배후에 클롭 랜섬웨어 있을 가능성 높아 보여 구글의 보안 자회사 맨디언트(Mandiant)가 최근 새로운 악성 캠페인을 발견해 세상에 공개했다. 배후 세력으로 가장 유력한 건 악명 높은 랜섬웨어 단체인 클롭(Cl0p)

By 문가용 기자
한국서도 사용되는 마일사이트 라우터, 해킹 공격에 노출돼

한국서도 사용되는 마일사이트 라우터, 해킹 공격에 노출돼

💡Editor's Pick - 산업용 셀루러 라우터의 API, 인터넷에 노출돼 - 심지어 문자 메시지 열람과 확인까지 가능한 API - 너무 많은 권한을 주는 게 많은 보안 사고의 원인 산업용 셀룰러 라우터를 감염시키는 악성 캠페인이 발견됐다. 배후 세력은 자신들이 점거한 라우터들을 통해 악성 문자 메시지를 발송하고 있다고 한다. 단순 장난

By 문가용 기자
접근 제어 솔루션 원로그인에서 API 관리 부실 취약점 나와

접근 제어 솔루션 원로그인에서 API 관리 부실 취약점 나와

💡Editor's Pick - 원로그인에서 발견된 CVE-2025-59363 - client_secret이라는 민감 정보 노출시켜 - API 관리 개념 부족해서 생긴 취약점 인기 높은 아이덴티티 및 접근 관리 솔루션인 원로그인(OneLogin)에서 심각한 보안 취약점이 발견됐다. 이를 익스플로잇 하는 데 성공한 공격자는 민감한 정보를 가져갈 수 있게 된다고 한다. 해당 취약점에는

By 문가용 기자