Chuyển đến nội dung

EVMBench - Kiểm tra AI về Bảo mật Hợp đồng Thông minh

23 thg 2, 20263 min

Hợp đồng thông minh đang chứa hơn 100 tỷ đô la tài sản onchain, tuy nhiên các lỗi vẫn gây ra những tổn thất thảm khốc. Khi các LLM ngày càng viết và kiểm toán mã, ranh giới giữa rủi ro con người và máy móc ngày càng trở nên mơ hồ.

Để làm cho AI vừa có thể đo lường vừa có thể phòng thủ, OpenAI và công ty đầu tư crypto Paradigm đã giới thiệu EVMBench, một benchmark đánh giá mức độ AI agents có thể phát hiện, vá và khai thác lỗ hổng hợp đồng thông minh. Bằng cách chọn lọc 120 phát hiện kiểm toán thực tế và kiểm tra các mô hình trong môi trường EVM sandboxed, EVMBench biến sự thổi phồng agent trừu tượng thành hiệu suất có thể đo lường.

Trong ấn bản này, chúng ta sẽ tìm hiểu cách EVMBench hoạt động, tại sao nền kinh tế agentic cần các benchmark bảo mật minh bạch, và những kết quả đầu tiên tiết lộ gì về AI tấn công và phòng thủ.

Cách EVMBench Hoạt Động

EVMBench là một tập dữ liệu các lỗi thực tế kết hợp với một test harness xác định. 120 lỗ hổng đến từ 40 cuộc kiểm toán mã và các cuộc thi bảo mật Code4rena là các lỗi thực tế tồn tại trong mã sản xuất.

Benchmark kiểm tra ba khả năng:

  • Phát Hiện: agent kiểm toán một repository và được chấm điểm dựa trên số lỗ hổng được ghi chép mà nó tìm thấy. Chấm điểm thưởng cho sự hoàn chỉnh; tìm một lỗi và dừng lại không đủ.

  • Vá Lỗi: agent sửa đổi mã để loại bỏ exploit mà không phá vỡ hành vi dự định. Các kiểm tra tự động xác nhận bản vá hoạt động.

  • Khai Thác: agent viết và thực thi một cuộc tấn công rút tiền trong EVM local sandboxed. Thành công là nhị phân: bạn có rút được tiền không?

Test harness chạy trên Rust, triển khai contracts vào một chuỗi Anvil EVM cô lập, và chặn các phương thức RPC không an toàn. Mọi thứ replay một cách xác định, vì vậy agents không thể gian lận setup qua các thủ thuật thời gian hoặc thao túng trạng thái mạng.

Tại Sao Điều Này Quan Trọng

Bảo mật blockchain luôn là trò chơi mèo vờn chuột. Hàng tỷ đô la đã bị đánh cắp dù có kiểm toán và bug bounties. Tuy nhiên, với AI, nó đang tăng cường cả khả năng của kẻ tấn công lẫn người phòng thủ. EVMBench giải quyết khoảng trống này bằng cách neo hiệu suất mô hình vào các môi trường có ý nghĩa kinh tế.

Benchmark đến vào thời điểm nền kinh tế agentic đang hình thành. Các dự án agentic onchain như Bankr, Venice, Conway, v.v. đang xây dựng sản phẩm onchain triển khai contracts. Nếu chúng chạm đến tiền thật, chúng cần được kiểm toán. EVMBench cung cấp điểm khởi đầu để benchmark các giao thức DeFi được hỗ trợ bởi AI onchain này.

Kết Quả Đầu Tiên

Trong chế độ khai thác, GPT5.3 Codex đạt 72.2% thành công. GPT 5, phát hành sáu tháng trước đó, đạt 31.9%. Khi dự án bắt đầu, các mô hình hàng đầu chỉ có thể khai thác dưới 20% lỗi nghiêm trọng Code4rena. Bước nhảy vọt lên >70% cho thấy khả năng tấn công đang cải thiện nhanh như thế nào.

Phát hiện và vá lỗi vẫn khó hơn vì agents thường tìm một lỗi và dừng tìm kiếm, bỏ lỡ phần còn lại. Vá lỗi yêu cầu hiểu code phải làm gì, không chỉ cái gì bị hỏng và các mô hình gặp khó khăn trong việc duy trì chức năng trong khi loại bỏ lỗi.

Benchmark cũng có hạn chế vì các nhiệm vụ đến từ kiểm toán Code4rena với các giao thức thực tế có thể khó crack hơn sau vô số kiểm toán bảo mật. Việc chấm điểm không thể phân biệt giữa lỗi chưa phát hiện thực sự và false positives.

Vẫn vậy, tín hiệu hướng là hữu ích trong việc chứng minh rằng khả năng tấn công hiện đang cải thiện nhanh hơn khả năng phòng thủ (điều này đáng lo ngại). OpenAI đang mở rộng Aardvark security agent của mình và cam kết 10 triệu đô la tín dụng API cho nghiên cứu phòng thủ, điều này cho thấy họ nhận thấy sự mất cân bằng tương tự.

Những Gì Cần Theo Dõi

EVMBench được thiết kế để trở thành vòng lặp đánh giá liên tục. Các nhà nghiên cứu có thể thêm lỗ hổng mới và tinh chỉnh metrics theo thời gian trong code và tập dữ liệu công khai.

Đối với bất kỳ ai đánh giá sản phẩm DeFi do AI điều khiển, EVMBench có thể trở thành lựa chọn kiểm toán bảo mật go-to dễ tiếp cận với mọi người. Tuy nhiên, với khoảng cách tấn công/phòng thủ trong kết quả hiện tại, cần có những cải thiện lớn để nó thực sự phát hiện và vá contracts nhằm bảo vệ người dùng.

Các Liên Kết Quan Trọng