오탐 줄이기, AI 경고 분류에서 시작합니다: 분석가가 루프 안에서 일하는 방식


국내 보안팀들은 서로 다른 곳에서 같은 현상을 겪고 있습니다. 로그 소스가 늘고 AI를 활용한 공격이 늘어날 때마다 경고 수는 계속 증가하지만, 야간 근무조의 분석가 수는 크게 달라지지 않습니다. 파고네트웍스 DeepACT MDR 센터의 김재근 위협 분석가는 PAGO Security Summit 2026에서 이 문제를 간결하게 정리했습니다. 공격은 수백, 수천 건의 대상으로 동시에 확장되지만 사람의 시간은 그만큼 확장되지 않는다는 것입니다.[2] 인력 충원만으로는 이 격차를 메울 수 없고, 그래서 대부분의 SOC가 AI를 가장 먼저 투입하는 곳이 경고 분류(Alert Triage)이며, 그 핵심 목표는 오탐 줄이기와 미탐 방지입니다.
경고 분류에 AI를 쓴다고 해서 판단까지 모델에 넘기는 것은 아닙니다. 파고네트웍스가 운영하는 방식에서는 AI가 조사를 수행하고 근거를 정리하며, 분석가는 루프 안에서 그 근거를 검토하고 결정을 내립니다. 이 글에서는 평범한 하루의 주간과 야간에 이 방식이 어떻게 돌아가는지, 그리고 제대로 작동하는지 어떻게 확인하는지 살펴봅니다.
AI 경고 분류가 실제로 하는 일
김재근 분석가는 AI 인베스티게이터의 업무를 세 단계로 나눕니다. 먼저 승인된 반복 업무와 조사 범위라는 정의된 영역 안에서만 일합니다. 다음으로 서로 다른 콘솔에 흩어져 있던 경고, 엔드포인트, 계정, 네트워크, 위협 인텔리전스 데이터를 연관 분석해 맥락을 연결합니다. 마지막으로 근거를 갖춘 구조화된 판단을 만들어 분석가에게 검토를 요청합니다.[2] 이 판단 아래에는 관찰 데이터를 수집하고, 위협 인텔리전스와 GeoIP로 보강하고, 근거를 검증한 뒤 요약하는 근거 파이프라인이 있습니다.
실무에서는 분석가가 서로 관련 없어 보이는 경고 네 건 대신 설명이 붙은 하나의 시나리오를 받게 됩니다. 세션에서 소개된 사례는 신뢰할 수 없는 외부 출발지의 RDP 로그인, 그 원격 세션에서 실행된 PowerShell, 의심스러운 페이로드를 내려받는 인코딩된 명령, 이어지는 지속성 확보 시도를 하나로 엮고, 각 단계에 근거를 붙여 전체를 실제 위협(True Positive)으로 분류합니다.[2]

PAGO Security Summit 2026 김재근 분석가 세션의 근거 기반 판단 사례
새벽 3시 4분의 테스트: 오탐 줄이기는 데이터 범위에서 시작된다
새벽 3시 4분, 재무팀 PC에서 의심스러운 PowerShell 실행 경고가 발생했다고 가정해 봅시다. 엔드포인트 경고만 볼 수 있는 AI라면 관리자 스크립트로 판단하고 경고를 종료할 수 있습니다. 같은 시간대의 계정 로그와 DNS 로그까지 볼 수 있는 AI는 같은 사용자가 40분 전 낯선 국가에서 로그인했다는 사실을 찾아내고, 경고를 종료하는 대신 에스컬레이션합니다.
두 시스템 모두 AI를 쓰고 있고, 각자의 논리를 정확히 따르고 있습니다. 미탐과 올바른 에스컬레이션을 가르는 것은 AI가 볼 수 있는 데이터의 범위, 그리고 그 데이터에 어떤 질문을 던져야 하는지 아는 분석가입니다. 이 시나리오에서 야간 분석가는 근거를 검토해 에스컬레이션에 동의하고 해당 PC를 격리합니다. 다음 날 아침에는 팀이 밤사이 AI가 내린 판단을 모두 검토하고, 분석가가 뒤집은 판단은 오탐 튜닝 항목으로 관리합니다.
루프 안에서의 역할 분담
단계 | AI | 분석가 |
수집 | 관련 경고, 엔티티, 행위 데이터 수집 | – |
보강 | 위협 인텔리전스, GeoIP, 이력 추가 | – |
판단 | 근거와 반대 근거를 담은 판단 제안 | 근거 검토 |
조치 | 대응 준비 | 승인과 실행 |
학습 | 수정 사항을 반영해 재튜닝 | 판단이 틀린 이유 기록 |
이 분담은 의도된 설계입니다. 수집과 보강은 양이 많고 반복적이며 감사하기 쉬운 업무이므로 AI가 맡습니다. 조치에 대한 결정과 그 책임은 사람에게 남습니다. 김재근 분석가의 프레임워크도 같은 원칙을 담고 있습니다. 에이전틱 AI가 조사와 근거화를 수행하고, 최종 판단과 책임은 사람이 가집니다.[2]

DeepACT DEFENSE 프레임워크의 Human in the Loop
AI를 새 팀원처럼 평가하기
파고네트웍스 권영목 대표는 같은 서밋의 오프닝 키노트에서 보안 분야의 AI 도입을 새로운 팀원을 채용하는 과정처럼 다뤄야 한다고 강조했습니다. 명확한 직무 설명서와 가이드라인, 측정 가능한 성과 지표, 그리고 분명한 해고 사유가 필요하다는 것입니다.[3] 키노트에서는 이 '채용'을 평가할 다섯 가지 영역을 제시했고, 아래는 파고네트웍스가 사용하는 목표 예시입니다.
영역 | 목표 예시 |
효율 | 분석 시간 2시간 → 5분 |
오류율 | 경고 분류 오류 20% → 5% |
탐지 | 평균 탐지 시간(MTTD) 2시간 → 30분 |
역량 | 주니어 분석가의 시니어 수준 업무 수행 |
범위 | 조사 가능한 텔레메트리 비율 약 80% → 100% |
다섯 가지 중 역량과 범위 두 가지는 도구가 아니라 팀에 일어나는 변화를 측정합니다. AI 경고 분류의 목표가 더 작은 SOC가 아니라 더 강한 SOC라는 점을 보여 주는 대목입니다.
분석가가 루프 안에 남아야 하는 이유
실무자들은 책임이 어디에 있어야 하는지 분명히 알고 있습니다. Gartner Security & Risk Management Summit 2026에서 발표된 설문에서 응답자의 64%는 AI 결과물에 사람의 검증과 책임이 따라야 한다고 답했습니다.[1] 루프는 AI 자체도 개선합니다. 숙련된 분석가가 판단을 바로잡으면 그 내용이 튜닝으로 이어지고, AI는 근무조마다 달라지기 쉬운 조사를 같은 유형의 경고에 대해 매번 같은 방식으로 수행하는 일관성을 제공합니다.
김재근 분석가는 세션에서 제번스 역설도 언급했습니다. AI 덕분에 경고 분류에 드는 비용이 줄면, 확보된 시간은 사라지는 것이 아니라 위협 헌팅과 탐지 엔지니어링 같은 더 가치 있는 업무로 옮겨 간다는 것입니다.[2]
루프를 운영하는 세 가지 지표
분류 시간: 경고 발생부터 분석가의 판단까지 걸린 시간을 주간과 야간으로 나눠 측정합니다.
번복률: 분석가가 AI의 판단을 뒤집는 빈도와, 그때 기록한 이유입니다.
피드백 반영 시간: 분석가의 수정 사항이 튜닝 변경으로 반영되기까지 걸린 시간입니다.
AI 경고 분류 제품을 검토하기 전에 현재의 분류 절차를 경고 발생부터 판단까지 단계별로 정리해 두는 것이 좋습니다. 이 기준선이 있어야 AI가 실제로 어떤 단계를 줄였는지 확인할 수 있습니다.
판단이 쌓일수록 오탐이 줄어드는 경고 분류
분석가를 루프 안에 두는 것은 느린 자동화가 아닙니다. AI가 시간이 지날수록 나아지고, 조직이 각 대응에 대해 책임자를 분명히 하는 방식입니다. AI는 처리량을 감당하고, 분석가는 결정을 내리며, 검토된 판단 하나하나가 다음 경고 분류를 더 빠르고 정확하게 만들어 오탐을 줄여 나갑니다.
함께 보면 좋은 콘텐츠
세션 전체 보기: "Accelerating Alert Triage with AI Investigator", 발표 김재근 파고네트웍스 DeepACT MDR 센터 위협 분석가 (PAGO Security Summit 2026)
리포트 전체 읽기: PAGO Security Summit 2026 리포트 (무료, 회원가입 없이 열람 가능)
참고 자료
Gartner Security & Risk Management Summit 2026 실무자 설문, PAGO Security Summit 2026 인사이트 리포트에 정리된 내용
김재근, "Accelerating Alert Triage with AI Investigator", PAGO Security Summit 2026
권영목, "The Next Era of Security Operations: Beyond Detection, Toward Better Decisions", PAGO Security Summit 2026 오프닝 키노트



