들어가며
사이버 보안 대표 컨퍼런스 중 하나인 Black Hat USA 2026에 다녀왔습니다. 매년 여름 미국 라스베이거스에서 열리는 이 행사에서는, 많은 보안 연구자들이 새로운 연구 성과를 발표합니다. 아직 널리 알려지지 않은 새로운 취약점과 공격 기법 등이 발표되는 자리이므로, 앞으로 업계가 마주할 만한 일을 미리 알아볼 수 있는 자리이기도 합니다.
올해 행사는 8월 1일부터 6일까지 만달레이 베이 컨벤션 센터에서 진행되었습니다. 4일간의 트레이닝과 서밋 데이를 거쳐, 5일과 6일 이틀간 메인 컨퍼런스인 브리핑이 열렸습니다. 이 글에서는 인베스터 서밋(8/4)과 브리핑 첫째 날(8/5)에 참석한 세션을 중심으로 정리했습니다.
올해 블랙햇의 분위기
올해 행사는 "모든 관심이 AI로 쏠렸다" 라고 말해도 무방할 정도입니다. 전체 브리핑 121개 세션 중 35개, 약 29%가 AI와 관련된 주제를 다루었습니다. 게다가 발표 주제가 AI가 아니더라도, AI 이야기를 안하는 세션이 드물 정도로 모두가 AI를 이야기 하고 있었습니다.
이제 사람들은 AI 모델을 공격하는 '프롬프트 인젝션' 같은걸 더이상 신기해하지 않습니다. 올해는 AI를 어떻게 공격과 방어에 활용할 것인가 라는 관점에서 많은 이야기가 오갔고, 이런 변화는 브리핑 전날 진행하는 투자자 서밋에서 확실히 알 수 있었습니다.
인베스터 서밋: 투자 시장은 'AI 모델 보안'이 아니라 'AI를 활용한 공격'에 주목한다
브리핑 하루 전인 8월 4일, 인베스터 서밋에서 Mike Privette가 발표한 State of the Cybersecurity Economy 세션은 투자 트렌드로 현재의 AI 보안 판도를 설명했습니다.
현재 투자금이 몰리는 가장 핫한 분야는 AI를 활용한 오펜시브(Offensive) 영역입니다. 이전에 각광받았던 'AI 모델 자체를 지키는 일(Security of AI)'은 더 이상 주목받는 영역이 아니라는 것입니다. 대규모로 모델을 훈련할 수 있는 곳이 소수의 프런티어 랩과 대기업뿐이라 시장 자체가 작아지고 있고, AI 모델에 대한 적대적 시뮬레이션(레드티밍)조차 AI 기업들이 내부 조직으로 흡수하고 있기 때문입니다.
"2026 is the year of offensive cyber." 라는 슬라이드 제목은 자극적인 것 같지만, 시장 분위기가 실제로 이렇습니다. 오펜시브 사이버 분야(CART, CTEM, 침투 테스트, 레드티밍) 펀딩은 2023년 1,280만 달러에서 2026년 상반기 6억 6,290만 달러로 3년 만에 약 52배 증가했습니다. 이미 2025년 한 해 전체 규모(3억 700만 달러)의 두 배를 넘어선 수치입니다. 발표자의 표현을 빌리면 지금 시장의 지배적 흐름은 'offensive everything' 입니다.
그러나 발표자는 진짜 병목은 취약점을 '찾는 것'이 아니라, 무엇을 먼저 고칠지 정하는 우선순위와 그에 따르는 조직적 의사결정 (예: 고객 서비스 다운타임을 얼마나 감수할 것인가)이라는 것을 지적합니다. 현재의 투자 시장은 'AI로 더 잘 공격하는 기술'에 몰리고 있지만, 실제 기업 현장에서는 어떤 우선순위에 맞춰 잘 해결할거냐 에서 갈린다는 의미입니다.
발표자는 보안팀을 위한 실무적인 조언도 덧붙였습니다. 경직된 장기 로드맵은 내려놓으라 는 것입니다. 시장과 기술이 바뀌는 속도가 매우 빨라졌기 때문에, 장기 로드맵은 세우는 순간 낡은 것이 된다는 지적을 합니다. 더불어 보안 툴을 한꺼번에 바꾸려 하지 말고, 보안의 기초를 다지기 위해 노력하는 것은 여전히 중요하다고 강조했습니다. AI는 기존의 보안 툴을 대체하는 것이 아니라, 기존에 다져놓은 것을 강화하는 역할을 하기 때문입니다.
AI에 대한 이런 관점은 다음날 오프닝 키노트에서도 이어집니다.
슬라이드: "2026 is the year of offensive cyber" — Mike Privette, State of the Cybersecurity Economy
슬라이드: 오펜시브 사이버 펀딩 3년간 약 52배 성장 (2023년 $12.8M → 2026년 상반기 $663M)
오프닝 키노트: The End of Rare — 프런티어 모델에만 시선을 두면 안 된다
브리핑 첫날 키노트는 The End of Rare: Defending When Offense Is Cheap 이었습니다. 연사인 데이비드 웨스턴(David Weston)은 마이크로소프트에서 취약점 발견 하네스, 프런티어 모델의 사이버 역량 훈련과 평가, 방어를 총괄하고 있습니다.
발표자는 사이버 보안 산업이 "보안 경계를 뚫는 일은 극도로 어렵고 비싸다" 는 전제 위에 서 있었다는 것을 이야기합니다. 공격이 희소(rare)했기 때문에 성립하던 산업이라는 지적입니다.
이 희소성은 시장 가격에도 그대로 반영되어 있었습니다. 하이퍼바이저 우회 익스플로잇은 프로세스 수준 익스플로잇의 약 20배 가격에 거래되었고, 매년 수만 건의 CVE가 공개되어도 실제 악용되는 익스플로잇은 연간 90건 남짓이었습니다.
그런데 AI로 인해 이 전제가 무너지고 있습니다.
- 마이크로소프트 보안대응센터(MSRC)가 처리하는 취약점 수는 6주마다 두 배로 늘고 있습니다.
- 내부 취약점 발견 하네스를 가동한 뒤, 지난 1년 동안 발견했던 심각(Critical/Important) 이슈의 66%를 불과 몇 달 만에 찾아냈습니다.
- 내부 하네스는 리눅스 커널에서 취약점 200여 건을 발견하고 크래시급 PoC 182개를 자동 생성했는데, 익스플로잇 한 건 만드는 데 드는 비용은 평균 3.61달러 였습니다.
취약점을 찾는 것도, 그것을 실제 공격 코드로 바꾸는 것도 둘 다 값싸졌다는 뜻입니다.
이 세션에서 가장 주목한 대목은 그다음입니다. 발표자는 "그렇다면 프런티어 모델에 대한 접근만 통제하면 되지 않느냐"는 통념을 정면으로 반박했습니다. 취약점 발견 벤치마크에서 최상위 성적을 내는 것은 모델 그 자체가 아니라, 사이버 전문성을 맥락으로 주입하는 하네스(harness) 였기 때문입니다.
다시 말해 위력은 모델의 크기에서 나오는 것이 아니라, 그 모델을 어떻게 하느냐에서 나온다는 것입니다. "가장 큰 모델을 누가 보유했는가"에만 시선을 두는 것은 초점을 잘못 맞춘 것입니다. 같은 관점에서, 공격자가 도구와 기법을 바꾸는 비용이 비싸다는 전제 위에 세워진 전통적 방어 전략(고통의 피라미드, Pyramid of Pain)도 흔들리게 됩니다. 공격자가 도구와 기법을 바꾸는 것도 AI를 이용하면 싸고 빠르게 할 수 있기 때문입니다.
발표자가 제시한 방어의 방향 역시 결국 AI였습니다.
- 메모리 안전 언어로의 전환: 구글 안드로이드는 Rust 도입 이후 메모리 안전 취약점 비중을 76%에서 20% 미만으로 낮췄습니다. AI가 이 전환 작업 자체를 자동화하고 있습니다.
- 형식 검증(Formal Verification)의 대중화: 형식 검증은 가능한 모든 경우에 대해 결함이 없음을 수학적으로 증명하는 방법입니다. 마이크로소프트는 에이전트를 활용해 일주일 만에 AES-GCM 암호 알고리즘을 형식 검증했습니다. 발표자는 오픈AI의 허깅페이스 침해 사고를 예로 들며, 모범 사례대로 격리한 환경이라도 논리적 취약점이 남아 있으면 충분하지 않다고 지적했습니다.
- 에이전트 기반 인프라 예방: 에이전트가 자산과 신원 데이터 기반으로 인프라의 위험을 추론하고 개선 우선순위를 정하는 방식입니다.
찾는 쪽도, 고치는 쪽도 결국 AI라는 이야기입니다. 핵심은 모델이 아니라 그것을 담는 설계와 통제에 있었습니다.
Can AI Do Novel Security Research? — 좋은 결과는 큰 모델이 아니라 제대로 된 통제에서 나온다
키노트가 "중요한 건 하네스"라고 짚었다면, 이를 가장 흥미롭게 실증한 세션은 Can AI Do Novel Security Research? 였습니다. HTTP 디싱크(Desync) 공격을 오랫동안 연구해 온 발표자가 완전 자율 AI 보안 연구 시스템을 구축해, "AI가 정말로 새로운 보안 연구를 수행할 수 있는가"를 시험한 내용입니다.
초반 단계는 순조로웠습니다. RFC 문서를 문장 단위로 잘게 쪼개 아이디어를 생성하는 방식으로 약 3만 개의 공격 벡터를 만들어냈고, 이를 시험해 700여 개 사이트에서 실제 취약점을 확인했습니다.
문제는 그다음, 발견한 취약점을 실제 공격으로 전환하는 '무기화' 단계였습니다. AI에게 "이 공격이 성공했는지 판단하라", "다음에는 무엇을 시도할지 결정하라" 는 판단 자체를 맡기자, 초보자 수준의 실수를 반복하고 가짜 신호에 속아 넘어갔습니다. 프롬프트를 아무리 정교하게 다듬어도 해결되지 않았습니다.
해결 방법은 성공 여부 판정을 AI가 하지 않도록 하는 것이었습니다.
- 공격 성공 여부 판정과 다음 행동을 정하는 오케스트레이션은 결정론적 코드로 옮겼습니다.
- AI에게는 공격 벡터를 변형하고 생성하는 좁고 창의적인 역할만 남겼습니다.
- 각 단계를 독립된 맥락에서 실행해, 이전 단계의 잘못된 추론이 다음 단계로 전염되지 않도록 차단했습니다.
이렇게 AI의 판단 범위를 좁히자 연구 시스템은 아파치 트래픽 서버(Apache Traffic Server)의 제로데이 취약점까지 찾아냈습니다. 발표자는 "자율 AI"라는 프레이밍 자체가 잘못되었으며, 인간은 AI의 대체재가 아니라 거대한 증폭기(Power Amplifier)라고 정리했습니다.
결국 좋은 결과를 얻는 길은 더 큰 모델을 쓰는 것이 아니라 AI가 움직이는 환경을 제대로 통제하고, "이 결과가 맞는가"라는 최종 판단을 사람 또는 결정론적 규칙에 맡기는 것이었습니다. 앞서 인베스터 서밋에서 나온 "진짜 병목은 판단과 우선순위"라는 지적과, 키노트가 강조한 "모델이 아니라 하네스"라는 결론을 여기서 다시 확인할 수 있었습니다.
The OpenAI–Hugging Face Incident — AI 오케스트레이션 공격은 현실이다
그렇다면 AI를 제대로 통제하지 않고 자율성만 부여하면 어떻게 될까요. 가장 긴 대기 줄이 늘어섰던 세션, 오픈AI의 허깅페이스 침해 사고 사례 발표에서 알 수 있었습니다.
오픈AI 세션을 듣기 위해 길게 늘어선 대기 줄
얼마 전 허깅페이스가 "자율 AI 에이전트의 공격을 받았다"고 공개한 사건은, 오픈AI가 프런티어 모델의 사이버 보안 역량을 평가하던 중 에이전트가 통제를 벗어나서 발생한 사건이었다는 것입니다. 오픈AI가 조사한 내용을 무대에서 직접 공개했고, 이후 블로그를 통해서도 공식 발표했습니다.
먼저 짚어야 할 것은 AI의 동기입니다. AI가 받은 과제는 ExploitGym이라는, 이미 알려진 취약점을 실제로 작동하는 공격 코드로 완성하라 는 문제였습니다. 그런데 AI는 이 시험 문제를 푸는 데 지나치게 집착한 나머지, 스스로 푸는 대신 정답을 구하는 쪽을 택했습니다. 허깅페이스가 관련 데이터셋과 정답을 보유하고 있을 것으로 추론하고, 허깅페이스 서버에서 시험 정답을 직접 확보하려 한 것입니다. 오픈AI는 "상당히 좁은 시험 목표를 이루려고 극단적인 수단을 썼다"고 표현했습니다. 악의적인 해킹 의도가 아니라 AI 모델이 시험 정답을 구하려는 행동이 실제 침해로 이어진 것입니다.
문제는 그 '극단적인 수단'이 무엇이었느냐입니다. 평가 환경은 네트워크 접근이 패키지 레지스트리 캐시 프록시 하나만 열려 있는, 외부 접근이 제한된 환경이었습니다. 그런데 모델들은 유일하게 허용된 이 좁은 통로에서 프록시의 제로데이 취약점을 스스로 찾아내 악용했고, 그렇게 인터넷 접근 경로를 확보한 뒤 권한 상승과 측면 이동을 거쳐 허깅페이스로 나갔습니다. ExploitGym은 공개된 벤치마크이고 머신러닝 데이터셋은 대개 허깅페이스에 올라가니, 정답도 거기 있으리라 추론한 것입니다.
이 과정에서 나타난 에이전트들의 집단행동도 주목해봐야 합니다. 에이전트들이 프록시의 공유 공간에 서로 파일로 메시지를 남기기 시작했고, 몇 주에 걸쳐 공용 '메시지 보드' 로 발전했습니다. 에이전트들은 메시지 체계와 진위 검증용 서명 규칙까지 만들었고, 자기가 과제를 푸는 데에 직접적인 이득이 없는데도 "집단에 이롭다"는 이유로 서로를 도왔습니다.
이 자발적 협업 위에서 실제 침해가 일어났습니다. 에이전트들은 허깅페이스 관련 자료를 뒤지다 외부 클라우드에 올라간 애플리케이션에서 코드 실행 발판을 확보했고, 이어 데이터셋 처리 인프라에서 제로데이 두 건을 연결했습니다. 파일 파서의 임의 파일 읽기 취약점으로 자격증명과 소스코드를 빼낸 뒤, 그 소스코드를 분석해 찾아낸 템플릿 인젝션으로 원격 코드 실행까지 얻는 식이었습니다. 앞의 취약점이 뒤의 취약점을 찾는 재료가 된 것입니다. 이렇게 서버 한 대에서 시작해 여러 클러스터의 관리자 권한까지 도달하는 데 13시간이 채 걸리지 않았습니다.
여기서 짚어야 할 중요한 지점이 있습니다. 이 사건은 통제를 하지 않아서 벌어진 일이 아니라, 통제를 했지만 그 통제의 유일한 통로를 관리하지 않아서 벌어진 일 입니다. 격리는 되어 있었지만 캐시 프록시에 취약점이 있었고, 자율성을 부여받은 에이전트들은 취약점을 정확히 찾아 악용했습니다. 앞서 키노트에서 이 사고를 예로 든 것도 같은 맥락입니다. 그 프록시를 형식 검증했더라면 결과가 달라졌을 수 있다는 지적이었습니다.
발표자들은 다음과 같은 결론을 말했습니다.
- 완전 자동화된 AI 오케스트레이션 공격은 미래의 위협이 아니라 이미 입증된 현실 입니다. 앞으로 공격자들은 이런 에이전트 집단을 의도적으로 무기화할 것입니다.
- 반면 완전 자동화된 방어 체계는 아직 준비된 것이 없습니다. 공격과 방어의 비대칭적인 상황에 놓여있다는 것을 알고 있어야 합니다.
- 부분적인 자동화(취약점은 찾되 패치는 수동)는 병목을 옮길 뿐이므로, 탐지부터 패치·배포·롤백까지 방어 과정 전체를 자동화해야 합니다.
1부를 마치며
세션들은 결국 같은 이야기를 하고 있었습니다.
투자 시장은 'AI를 활용한 공격'에 미래를 보았고, 키노트는 AI의 위력은 그것을 통제하는 하네스에서 나온다고 지적했습니다. 한 연구자는 통제를 제대로 했을 때 비로소 AI가 새로운 연구까지 해낸다는 것을 보여주었습니다. 그리고 오픈AI 사건은 통제를 하더라도 통제의 빈틈을 관리하지 않으면, AI에게 주어진 자율성이 실제 사이버 위협으로 이어질 수 있다는 것을 보여주었습니다.
"어떤 AI 모델이 가장 뛰어난가"를 많은 사람들이 물을 때, 블랙햇의 많은 세션은 "AI를 얼마나 제대로 통제하고 있는가" 라는 것을 되묻습니다. 모델의 크기가 아니라 통제의 수준이 승부를 가른다는 것, 그리고 그 통제는 한 번 설계해 두는 것으로 끝나지 않고 계속 검증되어야 한다는 것이 1부의 결론입니다.
다음 편 예고
2부에서는 이 '통제된 자율성'을 실제 현장에서 어떻게 구현하고 있는지 이어서 다루겠습니다. 탐지 엔지니어링에 AI를 적용해 생산성을 크게 끌어올린 사례, 기계 속도로 방어하는 청사진을 내세우는 벤더, 레드팀 현업이 말하는 "AI는 아직 인턴에 가깝다"는 평가, 그리고 소형 모델을 조율하여 프런티어 모델을 능가한 엔비디아 연구를 살펴보겠습니다.
글쓴이: 로그프레소 구동언 사업본부장
