top of page

[Gartner SRM Summit 2025] 미래 보안 : 생성형 AI, 기회와 위협의 양날의 검


생성형 AI: 보안의 미래를 형성하는 혁신과 위험

최근 보안 분야에서 생성형 AI(Gen AI)의 도입이 빠르게 확산되고 있습니다. 현재 약 16%의 기업들이 생성형 AI를 보안 분야에 실제로 도입하여 운영 중이며, 약 20%는 시험 운영 중으로, 아직 초기 단계에 있지만 그 활용 가능성은 매우 큽니다. 그러나 동시에 이 기술은 새로운 위험과 도전 과제를 제시하고 있습니다. 본 기사에서는 생성형 AI가 보안 환경에 가져오는 혁신, 주요 위험, 그리고 이러한 위험에 대응하기 위한 기술적 해결책에 대해 심층적으로 분석합니다.


1. 생성형 AI의 혁신적인 활용

생성형 AI는 이미 다양한 보안 분야에서 활용되고 있으며, 그 잠재력은 더욱 커지고 있습니다.


  • 현재 주요 활용 사례

    • 코드 분석: 22%의 기업이 사용

    • 취약점 탐지 및 해결: 21%의 기업이 사용

    • 사용자 행동 분석: 20%의 기업이 사용

    • 위협 헌팅 및 위협 모델링: 18%의 기업이 사용

    • 사고 대응: 16%의 기업이 사용


  • 떠오르는 혁신 기술 : Gartner의 Tech Radar에 따르면, Multimodal Gen AI, Agentic Gen AI, Intelligent Simulation 세 가지가 특히 주목받고 있습니다.

    • 멀티모달 생성형 AI (Multimodal Gen AI):

      • 기존 텍스트 외에 비디오, 데이터, 코드를 포함한 여러 형식의 입력을 받아 처리하고 다양한 형식으로 출력할 수 있는 기술입니다.

      • 이미 공격자들은 멀티모달 생성형 AI 공격 도구를 사용하고 있으며, 공격 도구 키트까지 존재합니다. 이 기술을 통해 보안 데이터 시각화, 공격 타임라인 비디오, 보안 데이터 확산, 텍스트 기반 요약 등 다양한 보안 결과물을 생성할 수 있습니다.


    • 에이전트형 생성형 AI (Agentic Gen AI):

      • 보안 오케스트레이션 및 자동화의 새로운 형태로, 미리 정의된 경로를 따르지 않고 다양한 입력을 받아 자율적으로 작업을 수행할 수 있습니다.

      • 활용 사례: 신입 직원 온보딩, 위협 헌팅을 위한 여러 에이전트의 조율.

      • 보안 운영에서의 활용: 

        • 인시던트 분석 (Incident Analysis): 코드 분석, 로그 분석, 새로운 쿼리 생성 등. 이를 통해 레벨 1, 2 쿼리 자동화 및 행동 계획 권고에 사용되어 인간인 운영자가 더 효율적으로 작업할 수 있도록 지원합니다.

        • 인시던트 대응 (Incident Response): 자격 증명 재발행, 기존 자격 증명 블랙리스트 등록, 로그아웃 등.

        • 노출 관리 (Exposure Management): 취약점 식별, 유효성 검사, 해결 방안 권고.


    • 지능형 시뮬레이션 (Intelligent Simulation):

      • 제조업의 '디지털 트윈' 개념에서 파생된 기술로, 실제 환경과 유사한 디지털 환경을 생성하여 침투 공격 시뮬레이션, 취약점 분석, 새로운 보안 도구의 효과 검증 등을 수행할 수 있습니다.


2. 생성형 AI의 위험과 공격자들의 활용

생성형 AI는 보안에 대한 강력한 잠재력을 가지고 있지만, 동시에 새로운 형태의 위험을 초래합니다. 현재 생성형 AI 솔루션의 가장 큰 위험은 데이터 손실, 또는 잘못되거나 유해한 출력입니다.


  1. 데이터 손실 위험 (Data Loss Risks):

    • 프롬프트(Prompt)를 통한 데이터 손실: 직원들이 민감한 코드 샘플이나 프로젝트 정보를 공개 LLM(대규모 언어 모델)에 입력할 수 있습니다.

    • 정보 유출 (Exfiltration of Information): 공격자가 환경 내 Copilot과 같은 Gen AI 도구에 접근하면, 이를 '내부자'로 인식하여 접근 가능한 정보를 탐색하고 탈취하거나, 비민감성 정보를 바탕으로 추가적인 접근 권한을 획득할 수 있습니다.

    • 무단 정보 검색 (Unauthorized Retrieval): LLM 도구의 사용자가 우연히 접근 권한을 가진 민감 정보를 검색하여 반환할 수 있습니다. 이로 인해 많은 조직이 Copilot과 같은 LLM 배포 전 데이터 저장소 및 접근 권한 관리에 시간과 비용을 투자하고 있습니다.


  2. 가드레일 우회 (Bypassing Guardrails):

    • 공격자 도구인 "Best Men Jill Brig"와 같은 툴은 공개 Gen AI 사이트(Chat UVP 등)의 가드레일을 우회하는 데 약 60%의 효과를 보입니다. 이를 통해 공격 코드를 생성하고 피싱 정보를 만듭니다.

※ 가드레일이란? AI가 정책 및 규정 밖으로 못 벗어나게 막는 자동 보안 울타리


  1. 공격자들의 생성형 AI 활용 (Attacker Use of Gen AI):

    • 악성 코드 개발: LLM은 강력한 코드 개발 역량을 지니며, 공격자들은 이를 이용해 악성 코드를 생성하고 있습니다. 실제로 상업용 LLM에서도 가드레일이 우회되어 악성 코드 생성이 확인된 사례가 있습니다.

    • 피싱 및 허위 정보 유포: "Berm GTP"와 같은 피싱 도구는 LLM을 활용하여 설득력 있는 피싱 메시지를 생성합니다. 또한 LLM은 딥페이크, 허위 뉴스 기사 생성, 웹사이트 변조 등을 통해 기업의 가치를 훼손하는 데 사용될 수 있습니다.

    • 자동화된 취약점 스캔 및 공격: 화이트 햇 해킹 사례에서, LLM 에이전트들은 10개 중 9개의 취약한 웹사이트에서 스스로 취약점을 발견하고 공격 코드를 생성하여 루트 권한을 획득했습니다. 이 사례는 LLM이 공격자들의 생산성을 향상시키고 조직 환경의 취약점을 스캔하여 악용할 수 있음을 입증합니다.


  2. 에이전트형 AI의 새로운 위험: 에이전트형 AI는 보안 환경을 스스로 변경할 정도로 강력하지만, 잘못된 자격 증명 발급이나 무단 권한 획득이 발생하면 치명적 사고로 이어집니다. 또한 방대한 학습 데이터를 유지하다 침해될 경우 민감 정보가 통째로 유출될 수 있어, 복잡한 아키텍처·프로세스·운영 모델이 얽힐수록 위험 관리가 더욱 까다로워집니다.


3. 생성형 AI 위험에 대한 기술적 해결책

이러한 위험에 대응하기 위해 다양한 기술적 해결책이 개발되고 있습니다. 가트너는 이를 AI TRiSM(AI Trust, Risk and Security Management)과 사이버 억지력(Cyber Deterrence)으로 설명합니다.


  1. AI TRiSM 프레임워크:

    • 인프라 보안 강화: LLM은 기존 인프라 스택에서 실행되므로, 이 인프라를 보호하는 것이 중요합니다.

    • 데이터 거버넌스: 

      • 합성 데이터 (Synthetic Data): 실제 데이터를 사용하지 않고 실제 데이터와 유사한 형태와 기능을 가진 합성 데이터를 생성하여 LLM을 훈련하는 데 사용합니다.

      • 동형 암호화 (Homomorphic Encryption): 데이터를 암호화된 상태로 조작하고 그 결과를 얻을 수 있도록 하는 기술입니다.

    • AI 런타임 검사: LLM 애플리케이션의 프롬프트 창에 필터를 적용하여, 방화벽이나 웹 애플리케이션 방화벽(WAF)처럼 작동하며 가드레일 우회 시도나 DoS 공격과 같은 악의적인 입력을 감지하고 차단합니다.

    • AI 거버넌스 도구: 환경 내 모든 LLM 애플리케이션을 발견, 테스트 및 모니터링하여 관리하는 데 도움을 줍니다.

    • AI 애플리케이션 보안 및 AI 데이터 보안 및 프라이버시




  1. 사이버 공격 억제 (Cyber Deterrence) 및 선제적 사이버 보안 역량 (Preemptive Cybersecurity Capabilities):


    • 기존의 사이버 보안 측정은 공격이 발생할 것이라는 가정을 전제로 하지만, 사이버 공격 억제는 공격이 발생하기 전에 공격자의 행동을 바꾸는 것을 목표로 합니다.

    • 이는 경고(Alerts)를 처리하는 것을 넘어 경고 자체를 줄이는 데 목표를 둡니다.

    • 공격자의 공격 수익성을 낮추고, 그들의 도구와 기술을 노출하며, 운영을 방해하거나 접근을 거부하여 공격을 더 어렵게 만듭니다.

    • 주요 활용 사례: 

      • 자동화된 이동 목표 방어 (Automated Moving Target Defense): IP 주소나 윈도우 인터페이스의 모양 등을 동적으로 변경하여 공격자들이 환경 구조를 파악하기 어렵게 만듭니다.

      • 자동화된 노출 관리 및 침해/공격 시뮬레이션: 자동화된 도구를 사용하여 환경을 평가하고 공격자들이 어떻게 공격할지 예측합니다.

      • 예측 위협 인텔리전스 (Predictive Threat Intelligence): LinkedIn 스크래핑과 같은 활동이나 개발팀에 대한 특정 메시지 등 조직을 프로파일링하고 공격하려는 신호를 모니터링합니다.

      • 고급 사이버 기만 (Advanced Cyber Deception): 디코이(Decoy), 허니팟, 가짜 파일 및 가짜 사용자 ID를 사용하여 공격자들을 혼란시키고 감지합니다.

    • 효과적인 방어: 이러한 선제적 사이버 보안은 AI 기반 공격 속도에 대한 유일하게 효과적인 방어책으로 간주됩니다. AI 기반 공격은 인간 주도의 반응적인 접근 방식을 능가할 것이기 때문입니다.



Recommendations

생성형 AI는 보안 분야에 혁신적인 기회를 제공하지만, 동시에 새로운 유형의 위험을 가져옵니다. 이러한 변화에 효과적으로 대응하기 위해 조직은 다음과 같은 준비를 시작해야 합니다.


  • 전문 조직 생성: 생성형 AI와 관련된 위험을 평가하고 관리할 전문가 그룹을 구성해야 합니다.

  • 기존 조직의 보안 강화: 생성형 AI 도구를 배포하기 전에 데이터 저장소, 접근 권한 관리 등 내부 조직의 보안 태세를 강화하는 것이 필수적입니다.

  • 선제적 사이버 보안 역량 논의: 벤더들과 제품 내에 선제적 사이버 보안 기능이 포함될 수 있도록 논의를 시작해야 합니다.


궁극적으로, 생성형 AI가 가져올 공격 속도에 대한 효과적인 방어는 포괄적인 보안 전략에 달려 있습니다. 지속적인 연구와 새로운 자료를 통해 변화하는 환경에 대한 이해를 높이는 것이 중요합니다


결론 : 생성형 AI 사이버 보안 분야의 양날의 검

생성형 AI(GenAI)는 보안 분야에서 획기적인 잠재력을 제공하지만 동시에 새로운 기회와 위험을 모두 초래하는 양날의 검입니다12. 이 혁신적인 기술의 밝은 면과 어두운 면을 명확히 인식하고 효과적으로 활용하기 위한 포괄적인 보안 전략을 수립하는 것이 필수적입니다.


작성자 – 파고네트웍스 남광해 책임 (Threat Analyst)

bottom of page