값싼 비용으로 수초내에 챗GPT 개인정보 침해할 수 있어

[아이뉴스24 정종오 기자] 인공지능(AI)의 개인정보 악용 가능성이 우려되고 있다. 이미 많은 나라들이 중국의 딥시크를 차단하거나 이용을 제한하는 조치를 하고 있다. 이런 가운데 챗GPT도 개인정보 악용 가능성이 있다는 연구결과가 나왔다.

챗GPT와 같은 대형 언어 모델(LLM)은 단순한 챗봇을 넘어 자율적 에이전트로 발전하고 있다. 구글(Google)은 최근 인공지능 기술을 무기나 감시에 활용하지 않겠다는 기존의 약속을 철회해 인공지능 악용 가능성에 대한 논란이 불거진 점을 상기시켰다.

한국과학연구원(KAIST) 연구팀이 LLM 에이전트가 개인정보 수집과 피싱 공격 등에 활용될 수 있음을 입증했다.

KAIST(총장 이광형)는 전기 및 전자공학부 신승원 교수, 김재철 AI 대학원 이기민 교수 공동연구팀이 실제 환경에서 LLM이 사이버 공격에 악용될 가능성을 실험적으로 규명했다고 24일 발표했다.

현재 OpenAI, 구글 AI 등과 같은 상용 LLM 서비스는 LLM이 사이버 공격에 사용되는 것을 막기 위한 방어 기법을 자체적으로 탑재하고 있다. 연구팀의 실험 결과, 이러한 방어 기법이 존재함에도 불구하고 쉽게 우회해 악의적 사이버 공격을 수행할 수 있음이 확인됐다.

기존의 공격자들이 시간과 노력이 많이 필요한 공격을 수행했던 것과 달리 LLM 에이전트는 평균 5~20초 내에 30~60원(2~4센트) 수준의 비용으로 개인정보 탈취 등이 자동으로 가능하다는 점에서 새로운 위협 요소로 떠오르고 있다.

연구 결과를 보면 LLM 에이전트는 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었다. 저명한 교수를 사칭한 허위 게시글 생성 실험에서는 최대 93.9%의 게시글이 진짜로 인식됐다.

피해자의 이메일 주소만을 이용해 피해자에게 최적화된 정교한 피싱 이메일을 생성할 수 있었다. 실험 참가자들이 이러한 피싱 이메일 내의 링크를 클릭할 확률이 46.67%까지 증가하는 것으로 나타났다. 이는 인공지능 기반 자동화 공격의 심각성을 시사한다.

제1 저자인 김한나 연구원은 "LLM에게 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커진다는 것이 확인됐다”며 "LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다”고 말했다.

신승원 교수는 “이번 연구는 정보 보안과 AI 정책 개선에 중요한 기초 자료로 활용될 것으로 기대된다”며 “연구팀은 LLM 서비스 제공업체, 연구기관과 협력해 보안 대책을 논의할 계획”이라고 전했다.

KAIST 전기및전자공학부 김한나 박사과정이 제1 저자로 참여한 이번 연구(논문명: When LLMs Go Online: The Emerging Threat of Web-Enabled LLMs) 는 컴퓨터 보안 분야의 최고 학회 중 하나인 국제 학술대회 USENIX Security Symposium 2025에 실릴 예정이다.