"AI 악용 가짜뉴스, CCTV처럼 감지할 수 있는 기술 적용해야"

"AI 악용 가짜뉴스, CCTV처럼 감지할 수 있는 기술 적용해야"
[이미지: AI Generated by TheTechEdge]
💡
Editor Pick
- 사전 훈련된 AI로 악의적 가짜뉴스, 가짜 댓글 '난무'
- 기존 가짜뉴스 탐지 한계...대부분 영어 설계, 한국어 데이터셋 없어
- 댓글 뒤 출처 LLM 밝혀내 세밀한 분석 가능해야

AI기술 발달로 가짜뉴스와 가짜 댓글이 판을 치고 있다. 가짜뉴스와 가짜 댓글은 사전에 훈련된 대형 언어 모델(LLM)을 통해 기만적인 콘텐츠를 만들거나, 악의적 목적으로 사실을 의도적으로 조작해 가짜 정보를 생성한다.

또 공격 대상의 정치적 정당성을 훼손하는 허위 조작 정보를 유포해 여론을 조작하고, 사회 혼란 야기시킨다. 가짜 댓글 역시 짧고 비공식적이며 쉽게 조작된다. 특히 기존 봇 텍스트보다 탐지하기 어렵단 게 전문가 분석이다.

상황이 이렇다 보니 가짜뉴스와 허위조작 정보를 탐지하고 펙트를 체크하는 기술이 갈수록 중요해지고 있다.

하지만 기존 탐지 방법엔 한계가 있다. LLM 탐지 대부분이 긴 형식의 영어 텍스트를 위해 설계됐다. 어휘와 구문 복잡성에 대한 탐지 기술 부족은 통계적 탐지를 제한한다. 뿐만 아니라 훈련을 위한 현실적인 한국어 LLM 생성 댓글 데이터셋이 없다.

고우영 국가보안기술연구소 선임연구원은 '2025 사이버안보 최신 이슈 세미나'에서 LLM 탐지 어려움 해결을 위해 "여러 LLM과 고급 기술을 사용해 현실적인 댓글을 생성해 교육 데이터를 구축해야 한다"며 "LLM과 인간이 작성한 텍스트 간의 문체와 언어적 차이를 식별해 언어 패턴을 추출해야 한다"고 말했다.

그러면서 LLM 생성 유무를 감지하고 속성을 부여하는 프레임워크가 필요하다고 제안했다. 가짜뉴스 탐지 통계는 단어 의미 특성, 문법 특성 분석, 범주 특성 분석 등 다양한 정보로 분석돼야 하고, 펙트 체킹은 주체의 특징, 전문가 신뢰할 수 있는 외부정보(reference)와 비교로 펙트를 체크해야 한단 설명이다.

고우영 선임 연구원은 "각 댓글 뒤에 있는 출처 LLM을 밝혀내어 세밀한 분석이 가능해야 한다"며 "약물 검사나 CCTV와 같은 정확한 감지만으로도 오용을 억제할 수 있는 것처럼 댓글이 노출되고 추적될 수 있단 사실 인지로 사전 예방을 해야 한다"고 강조했다.


[칼럼] AI범죄, 수사기법 선진국 수준으로 법제화 돼야
💡Editor Pick - AI 범죄·부작용, 보안 강화·수사기법·사법 공조 강화해 예방해야 - 정부가 아낌없는 기술 지원해 보안기술 강화 및 확보해야 [칼럼 윤해성 한국형사·법무정책연구원 AI 미래정책연구실장] 영화 레지던트 이블을 보면 AI가 인간을 복제·통제하고 주인공이 설치한 폭탄으로 파괴하면서 소멸한 듯 했으나, 슈퍼컴퓨터 능력으로 자신을 다른 프로그램들에 업로드해 다시
엔비디아, “AI로 수백만 단어 처리 가능”
💡Editor’s Pick - 백과사전 분량 입력하면 버벅거리는 인공지능 - 이를 해결할 방법, 엔비디아가 제시 - DNA 구조에서 영감 얻어 만든 ‘헬릭스 병렬 처리’ 엔비디아(Nvidia)가 현존하는 대형 언어 모델들이 가지고 있는 고질적 문제를 해결했다고 주장했다. 고질적 문제란, 방대한 분량의 텍스트를 분석할 때 ‘집중력’을 유지하지 못하고 중간에 길을 잃는다는
AI 기술 고도화에 해킹 공격도 ‘고도화’
인공지능(AI) 기술이 고도화될수록 AI 기술을 이용한 해킹 공격도 심화되는 양상이다. 북한·러시아·이란·중국 등과 같은 국가배후 해킹 조직은 챗GPT를 활용하거나, 가상자산 탈취 목적의 범죄 조직은 AI를 활용해 일반인 가상 자산을 노린다. 뿐만 아니라 생성형 AI는 악성코드 개발에도 활용된다. 2025년 하반기에는 이러한 AI 기반 공격이 더욱 고도화할 것으로 보인다.

Read more

챗GPT와의 게임 포기했더니 윈도 제품 키를 술술

챗GPT와의 게임 포기했더니 윈도 제품 키를 술술

💡Editor's Pick - 챗GPT와 스무고개 시작 - 몇 가지 게임 규칙 설정하고 플레이 후 포기 선언 - 그러자 챗GPT가 숨겼던 민감 정보 실토 프롬프트를 교묘히 활용함으로써 챗GPT가 민감 정보를 뱉어내도록 하는 데 성공한 사례가 화제다. 생성형 인공지능 버그바운티 담당자인 마르코 피게로아(Marco Figueroa)가 알아낸 방법으로, 그는 정품

By JustAnotherEditor
맥도날드의 AI 채용 플랫폼서 6400만 개인정보 노출돼

맥도날드의 AI 채용 플랫폼서 6400만 개인정보 노출돼

💡Editor's Pick - 맥하이어에서 두 가지 취약점 발견됨 - '허술한 비밀번호'와 'IDOR'이라는 고질적 문제 - 신기술과 구식 인프라(마인드)의 만남은 늘 재앙 맥도날드의 인공지능 채용 플랫폼인 맥하이어(McHire)에서 6400만 명의 개인정보가 노출되는 사고가 발생했다. 플랫폼에 존재하는 ‘불안전 직접 객체 참조(

By JustAnotherEditor
[단독] 해커, 에몬스 해킹+피싱 '일거양득' 공격

[단독] 해커, 에몬스 해킹+피싱 '일거양득' 공격

💡Editor Pick - 해커, 에몬스 가구 해킹해 서브 웹페이지에 택배 피싱 사이트 삽입 - 가구 배송지 입력 유도로 에몬스 고객 개인정보 탈취 가구업체 에몬스 웹사이트가 해킹당한 정황이 포착됐다. 해커는 지난 8일 저녁 8시 32분경부터 10일 밤9시 10분경까지 8차례 에몬스 사이트를 침투한 것으로 확인됐다. 특히 해커는 에몬스 사이트가 가구 업체란 특징을

By CheifEditor