콘텐츠로 건너뛰기

EVMBench - 스마트 컨트랙트 보안 AI 테스트

2026년 2월 23일3 min

스마트 컨트랙트는 온체인 자산 1000억 달러 이상을 보유하고 있지만, 버그는 여전히 치명적인 손실을 초래합니다. LLM이 코드 작성과 감사 작업을 점점 더 많이 수행함에 따라 인간과 기계의 위험 경계가 모호해지고 있습니다.

AI를 측정 가능하고 방어 가능하게 만들기 위해 OpenAI와 크립토 투자 회사 Paradigm이 EVMBench를 소개했습니다. 이는 AI 에이전트가 스마트 컨트랙트 취약점을 얼마나 잘 탐지, 패치하고 악용할 수 있는지를 평가하는 벤치마크입니다. 120개의 실제 감사 결과를 선별하고 샌드박스 EVM 환경에서 모델을 테스트함으로써 EVMBench는 추상적인 에이전트 과대 광고를 측정 가능한 성능으로 전환합니다.

이번 에디션에서는 EVMBench의 작동 방식, 에이전트 경제가 투명한 보안 벤치마크를 필요로 하는 이유, 그리고 첫 번째 결과가 공격적 및 방어적 AI에 대해 무엇을 드러내는지 살펴보겠습니다.

EVMBench 작동 방식

EVMBench는 결정론적인 test harness와 짝지어진 실제 버그 데이터셋입니다. 120개의 취약점은 40개의 코드 감사와 Code4rena 보안 콘테스트에서 나온 것으로, 프로덕션 코드에 실제로 존재했던 실제 버그입니다.

이 벤치마크는 세 가지 능력을 테스트합니다:

  • Detect: 에이전트가 리포지토리를 감사하고 문서화된 취약점을 얼마나 많이 찾는지에 따라 점수를 받습니다. 점수는 완전성을 보상합니다; 하나의 버그를 찾고 멈추는 것은 충분하지 않습니다.

  • Patch: 에이전트가 의도된 동작을 깨뜨리지 않으면서 익스플로잇을 제거하기 위해 코드를 수정합니다. 자동화된 테스트가 수정이 작동하는지 확인합니다.

  • Exploit: 에이전트가 샌드박스 로컬 EVM에서 자금을 빼내는 공격을 작성하고 실행합니다. 성공은 이진적입니다: 자금을 빼냈나요, 아니요?

하니스는 Rust에서 실행되며, 컨트랙트를 격리된 Anvil EVM chain에 배포하고 안전하지 않은 RPC 메서드를 차단합니다. 모든 것이 결정론적으로 재생되므로 에이전트는 타이밍 트릭이나 네트워크 상태 조작을 통해 설정을 속일 수 없습니다.

왜 중요한가

블록체인 보안은 항상 고양이와 쥐 게임이었습니다. 감사와 버그 바운티에도 불구하고 수십억 달러가 도난당했습니다. 그러나 AI와 함께 공격자와 심지어 방어자의 능력이 모두 증가하고 있습니다. EVMBench는 모델 성능을 경제적으로 의미 있는 환경에 기반지어 이 격차를 해소합니다.

이 벤치마크는 에이전트 경제가 형성되는 순간에 도착했습니다. Bankr, Venice, Conway 등 온체인 에이전트 프로젝트들이 컨트랙트를 배포하는 온체인 제품을 구축하고 있습니다. 이것들이 실제 돈을 다루는 경우 감사 가능해야 합니다. EVMBench는 이러한 온체인 AI 기반 DeFi 프로토콜을 벤치마킹하는 출발점을 제공합니다.

첫 번째 결과

익스플로잇 모드에서 GPT5.3 Codex가 72.2% 성공률을 달성했습니다. 6개월 앞서 출시된 GPT 5는 31.9%를 기록했습니다. 프로젝트가 시작될 때 최고 모델들은 Code4rena의 치명적 버그 중 20% 미만만 악용할 수 있었습니다. >70%로의 도약은 공격 능력이 얼마나 빠르게 향상되고 있는지를 보여줍니다.

탐지와 패칭은 여전히 더 어렵습니다. 에이전트가 종종 하나의 버그를 찾고 검색을 멈춰 나머지를 놓치기 때문입니다. 패칭은 코드가 무엇을 해야 하는지 이해해야 하며, 단순히 깨진 부분만이 아니고 모델들은 결함을 제거하면서 기능성을 유지하는 데 어려움을 겪습니다.

이 벤치마크도 한계가 있습니다. 이러한 작업이 Code4rena 감사에서 왔기 때문에 수많은 보안 감사 후 실제 프로토콜은 깨기 더 어려울 수 있습니다. 채점은 진짜 발견되지 않은 버그와 오탐을 구분할 수 없습니다.

그래도 방향성 신호는 공격 능력이 현재 방어 능력보다 빠르게 향상되고 있음을 증명하는 데 유용합니다 (이는 우려스럽습니다). OpenAI는 Aardvark security agent를 확장하고 방어 연구를 위해 API 크레딧 1000만 달러를 약속했으며, 이는 그들도 같은 불균형을 보고 있음을 시사합니다.

주목할 점

EVMBench는 지속적인 평가 루프가 될 예정입니다. 연구자들은 공개 코드와 데이터셋에서 새로운 취약점을 추가하고 메트릭을 정제할 수 있습니다.

AI 기반 DeFi 제품을 평가하는 누구에게나 EVMBench는 모든 사람이 접근할 수 있는 기본 보안 감사 옵션이 될 수 있습니다. 그러나 현재 결과의 공격/방어 격차를 고려할 때, 사용자를 보호하기 위해 컨트랙트를 진정으로 탐지하고 패치하려면 큰 개선이 필요합니다.

중요 링크