Tutorial

[튜토리얼] 인공지능 위험성 평가, 실제로 이렇게 해보세요

문가용 기자

12 Aug 2025 — 12 min read

💡

Editor's Pick
- 인공지능 조심히 써야 한다는데, 어떻게?
- 중요한 건 위험성 평가... 5단계 방법 공개돼
- 사내 현황, 서드파티, 사용자 순으로 점검

인공지능의 강력함을 누려보기 위해 만지작거리다 보면 보안 쪽에서 늘 찬물을 끼얹는다. 아직 위험하다, 신뢰하기 힘들다, 아무 정보나 입력해서는 안 된다, 모든 결과를 믿으면 안 된다... 그러면서 기업에 “인공지능의 위험성을 평가해 보고 나서 안전하게 사용하기 위한 사내 규정을 수립해야 한다”고 강조하는데, 도대체 인공지능 위험 평가라는 건 어떻게 해야 하는 걸까? 이 질문에 보안 업체 넛지시큐리티(Nudge Security)가 답했다.

생각보다 광범위하게 사용되고 있는 인공지능
누군가 ‘인공지능을 사용한다’고 하면 대부분 챗GPT를 의미한다. 챗GPT에 번역을 시킨다거나, 뭔가 검색으로는 해결하기 힘든 질문에 대한 답을 구하는 게 일반적이다. 그것보다 조금 더 적극적으로 인공지능을 활용하는 사람들이라면 클로드(Claude)나 라마(Llama), 제미나이(Gemini) 정도를 병행해 사용하는 정도다. 하지만 우리는 생각보다 더 많은 경우 인공지능을 사용하고 있다고 넛지시큐리티는 짚는다.

“인공지능 모델의 API를 활용하여 특수한 솔루션을 만들어 쓰는 경우도 점점 많아지고 있습니다. 즉 현존하는 인공지능 모델을 특수 목적용으로 탈바꿈시키는 건데, 이를 ‘생성형 인공지능 래퍼(GenAI wrapper)’라고 합니다. 사용자 친화적인 UI를 앞세워 프롬프트 엔지니어링 학습 시간을 크게 단축시켜 준다는 장점을 가지고 있습니다. 덜 보편적인 활용도를 가지고 있긴 합니다만, 오히려 그래서 특수 목적을 위해서는 더 유용합니다. 래퍼들의 경우 개발이 크게 어렵지 않고 특별한 규제가 없어 지금도 계속해서 출시되고 있어 보안성의 의심되고 있습니다.” 재스퍼(Jasper), PDF.ai 등이 래퍼로 분류된다.

이제 기업 환경에서 널리 사용되는 SaaS 앱에도 인공지능이 탑재돼 있다. 진작부터 SaaS 시장도 경쟁이 치열한데, 개발사들마다 최근 유행인 인공지능을 넣어 제품 경쟁력을 높이고 있기 때문이다. 인공지능 기능이 없다면 SaaS 시장에서 살아남기가 힘들다. 이런 상황 속에서 사용자들은 인공지능을 통해 더 빨리 문서를 만들어내거나 각종 제안을 받는 것에 익숙해져 가는 중이다. “2023년부터 매 분기 생성형 인공지능 기반 도구들의 수가 2배씩 증가하고 있습니다. ‘우리 회사는 챗GPT를 사용하지 못하게 막아두고 있어’라면서 인공지능 위험 평가를 고려하지 않는 건 시대착오적인 발상입니다.”

위험 평가의 첫 단계
넛지시큐리티는 인공지능 위험 평가를 실시하기 위해 가장 먼저 해야 할 건 현재 사내에서 사용되고 있는 인공지능 도구들이 무엇인지 전부 파악하는 것이라고 강조한다. “우리 직원들이 어떤 인공지능 기술을 사용하는 중인지 알아내는 것부터 시작해야 합니다. 조직 내 모든 인공지능 관련 계정과 애플리케이션, 장비를 확인하고 찾아내야 합니다. 챗GPT처럼 유명한 것들은 물론, 덜 알려진 도구나 솔루션들까지도 빠짐없이 식별해내는 게 중요합니다. 래퍼와 SaaS도 포함입니다.”

하지만 이게 말처럼 쉬운 일은 아니다. 특히 조직 규모가 크다면 쉽게 해내가 어려운 일이 될 가능성이 다분하다. 이에 넛지시큐리티 측은 다섯 가지 방법을 다음과 같이 제시한다.

1) 모든 컴퓨터와 장비와 책상을 직접 들추어 목록화 한다. 꼼꼼한 작업이 가능한 대신 시간이 오래 걸린다.
2) 네트워크 모니터링을 통해 잘 알려진 인공지능 도구들부터 굵직굵직하게 파악해 나간다. 비교적 빠르게 진행되지만 덜 유명한 도구들은 놓칠 수 있다.
3) 업무와 관련된 앱들을 분류해 분석한다. 시간을 단축시킬 수 있지만 비업무용 앱들을 놓치기 쉽다.
4) 브라우저 플러그인이나 엔드포인트용 솔루션 등 에이전트를 활용한다. 꽤나 빠르게 생성형 인공지능들을 파악할 수 있지만, 데이터 속에 허수가 섞일 가능성이 있다. 또한 이 과정에서 개인정보 침해가 의도치 않게 일어날 수도 있어 주의해야 한다.
5) 기계가 생성한 이메일을 찾아낸다. 왜냐하면 인공지능 서비스에 새로 가입할 때 보통 기계가 생성한 이메일이 발송되기 때문이다. 이메일 발송 단계를 거치지 않는 서비스의 경우 놓치게 된다.

위험 평가의 두 번째 단계
다음으로는 파악된 인공지능 기반 도구들을 검토해야 한다. “인공지능 붐이 빠르게 일면서 보안이 무시되는 경우가 너무 많아졌습니다. 저희가 자동화 기술로 식별해 낸 1천 개 이상의 생성형 인공지능 관련 벤더사들 중 90%가 50명 미만의 직원을 가진 소규모 업체였습니다. 이런 업체들이 다 그런 건 아니지만, 보안 전담 인력을 여유롭게 두기가 힘든 게 보통입니다. 인공지능 솔루션 개발사들의 보안 관련 현황을 조사해야 합니다.”

그러면서 넛지시큐리티는 평가에 도움이 될 만한 질문들을 다음과 같이 제시했다.
1) 어떤 보안 인증을 보유하고 있는가?
2) 인증서 외 사내 보안 프로그램을 보유하고 있는가?
3) 데이터와 개인정보를 어떻게 관리하고 있는가?
4) 데이터 침해 사건을 겪었는가? 최근의 일인가?
5) 본사는 어디에 있는가? 연락이 가능한가?
6) 사용자 데이터는 어디에 저장되며, 어떻게 처리되는가?

그 다음은 인공지능 도구 자체도 평가해야 한다. 그럴 때 필요한 질문들은 다음과 같다.
1) 사용자로부터 어떤 정보를 가져가는가? 그 정보는 어떻게 저장되는가?
2) GDPR, CCPA 등 개인정보 보호 관련 규정을 어떤 식으로 준수하고 있는가?
3) 내 데이터를 학습에 사용하지 못하게 하는 옵션이 제공되는가? 그 옵션 제어가 쉬운가?
4) 내 데이터를 학습에 사용하지 못하게 계약 단계에서도 명시할 수 있는가?
5) 온프레미스 배포가 가능한가? 사설 클라우드 환경에서도 사용 가능한가?
6) 인공지능 모델이 어떻게 학습을 하고 있는지 공개가 가능한가?
7) 데이터의 물리적 위치와 처리 방식이 확인 가능한가?

위험 평가의 세 번째 단계
개발사와 모델 전부 평가했다면 회사 내 어떤 시스템이 어떤 도구와 연결되어 있는지를 알아낼 차례다. 즉, 이런 저런 앱들이 실제 회사 내에서 어떤 식으로 사용되며, 어떻게 관리되고 있는지를 정확히 파악해 필요한 걸 보완해야 한다는 것이다. 이 단계에서 필요한 질문들 역시 넛지시큐리티가 다음과 같이 제시했다.

1) 어떤 시스템이 생성형 인공지능 도구와 연결돼 있는가?
2) API 키, 웹훅, 오오스(OAuth) 등 어떤 방식으로 연결돼 있는가?
3) 오오스 권한 범위는 어떻게 설정돼 있는가?
4) 어떤 데이터가 공유되는가?
5) 관련 계정은 어떤 식으로 보호되어 있는가?
6) 민감 데이터가 공유된다고 했을 때, 이를 막을 방법이나 장치가 마련돼 있는가?

위험 평가의 네 번째 단계
파악된 도구들이 회사 내에서 실제 어떻게 사용되고 있는지를 알아냈다면, 다음으로 그 도구들이 외부 파트너사들과 어떤 식으로 연계돼 있는지를 파악해야 한다. 특히 SaaS 개발사들이 인공지능 기능을 빠르게 도입하고 있는 상황이라, ‘우리 회사에서 사용하고 있는 SaaS가 어떤 인공지능 기능을 새로 추가했는지’를 알아내는 것이 중요한 일이 되고 있다.

넛지시큐리티는 다음과 같은 질문들을 바탕으로 검사를 실시하는 게 좋다고 제안한다. 한 번이 아니라 정기적으로 말이다.
1) 서드파티 벤더사의 소프트웨어 공급망에 어떤 인공지능 기술이 추가됐는가?
2) 새로 추가된 인공지능 도구가 회사의 리스크 평가에서 좋은 점수를 받을 만한가?
3) 인공지능 도입한 후 개인정보를 어떻게 처리하고 있는가?
4) 정보 침해 사고를 겪었을 때 서드파티 업체 및 앱은 어떤 대응을 가능하게 하는가?

위험 평가의 다섯 번째 단계
마지막은 사용자다. 사용자가 인공지능의 리스크를 이해하고 있는지, 안전한 사용법을 알고 있는지 확인하는 단계다. 여기서 사용자라고 하면 회사가 도입한 인공지능 도구들을 사용하는 사람들, 즉 임직원이다. 다행히 넛지시큐리티에 의하면 “임직원의 81%가 안전하게 인공지능 사용하는 법을 배우고 싶어 한다”고 한다. 억지로 안전한 사용법을 숙지시킬 필요가 없다는 뜻이므로, 인공지능을 도입하고자 하는 기업들은 반드시 임직원 대상 교육 프로그램까지 고려해야 할 것이라고 넛지시큐리티는 강조한다.

사용자 점검 시 확인해야 할 것은 다음과 같다.
1) 인공지능 관련 정책을 알고 있는가? 교육 받았는가?
2) 인공지능 도구와 관련된 ‘자동 교육 시스템’이 존재하는가? 임직원은 이런 시스템을 얼마나 경험해 보았는가?
3) 문제가 생겼을 때 누구에게 찾아가 도움을 요청해야 하는지 알고 있는가?
4) 승인된 생성형 인공지능 도구가 무엇인지 알고 있는가?
5) 회사로부터 새롭게 승인을 받고 싶은 도구가 있는 경우, 어떤 절차를 밟아야 하는지 알고 있는가?