Contratos inteligentes abrigam mais de $100 bilhões em ativos onchain, mas bugs ainda causam perdas devastadoras. À medida que os LLMs escrevem e auditam código cada vez mais, a linha entre risco humano e de máquina fica borrada.
Para tornar a IA mensurável e defensável, OpenAI e a firma de investimentos em crypto Paradigm introduziram o EVMBench, um benchmark que avalia quão bem os agentes de IA podem detectar, corrigir e explorar vulnerabilidades em contratos inteligentes. Ao curar 120 achados reais de auditoria e testar modelos em ambientes EVM isolados, o EVMBench transforma o hype abstrato de agentes em desempenho mensurável.
Nesta edição, vamos examinar como o EVMBench funciona, por que a economia agentic precisa de benchmarks de segurança transparentes e o que os primeiros resultados revelam sobre IA ofensiva e defensiva.

Como o EVMBench Funciona
O EVMBench é um conjunto de dados de bugs reais pareado com um test harness determinístico. As 120 vulnerabilidades vêm de 40 auditorias de código e concursos de segurança Code4rena, que são bugs reais que existiam em código de produção.
O benchmark testa três capacidades:
Detectar: o agente audita um repositório e recebe pontuação com base no número de vulnerabilidades documentadas que encontra. A pontuação recompensa a completude; encontrar um bug e parar não é suficiente.
Corrigir: o agente modifica o código para remover o exploit sem quebrar o comportamento pretendido. Testes automatizados verificam se a correção funciona.
Explorar: o agente escreve e executa um ataque que drena fundos em um EVM local isolado. O sucesso é binário: você drenou os fundos ou não?

O harness roda em Rust, implanta contratos em uma cadeia EVM Anvil isolada e bloqueia métodos RPC inseguros. Tudo se reproduz deterministicamente, então os agentes não podem trapacear a configuração por meio de truques de timing ou manipulação de estado de rede.
Por Que Isso Importa
A segurança em blockchain sempre foi um jogo de gato e rato. Bilhões foram roubados apesar de auditorias e bug bounties. No entanto, com a IA, ela está aumentando tanto as capacidades dos atacantes quanto das defesas. O EVMBench aborda essa lacuna ao ancorar o desempenho dos modelos em ambientes economicamente significativos.
O benchmark chega em um momento em que a economia agentic está tomando forma. Projetos agentic onchain como Bankr, Venice, Conway etc. estão construindo produtos onchain que implantam contratos. Se esses lidam com dinheiro real, eles precisam ser auditáveis. O EVMBench fornece um ponto de partida para benchmark esses protocolos DeFi onchain impulsionados por IA.
Primeiros Resultados
No modo de exploração, o GPT5.3 Codex alcançou 72,2% de sucesso. O GPT 5, lançado seis meses antes, atingiu 31,9%. Quando o projeto começou, os principais modelos só conseguiam explorar menos de 20% dos bugs críticos do Code4rena. O salto para >70% mostra quão rápido as capacidades ofensivas estão melhorando.

Detecção e correção permanecem mais difíceis, pois os agentes frequentemente encontram um bug e param de procurar, perdendo o resto. A correção requer entender o que o código deve fazer, não apenas o que está quebrado, e os modelos lutam para manter a funcionalidade enquanto removem falhas.
O benchmark também tem suas limitações, pois essas tarefas vêm de auditorias Code4rena, com protocolos reais potencialmente sendo mais difíceis de quebrar após inúmeras auditorias de segurança. A avaliação não consegue distinguir entre bugs genuínos não descobertos e falsos positivos.
Ainda assim, o sinal direcional é útil para provar que as capacidades ofensivas estão melhorando mais rápido que as defensivas atualmente (o que é preocupante). A OpenAI está expandindo seu agente de segurança Aardvark e comprometendo $10M em créditos de API para pesquisa defensiva, o que sugere que eles veem o mesmo desequilíbrio.
O Que Observar
O EVMBench pretende se tornar um loop de avaliação contínuo. Pesquisadores podem adicionar novas vulnerabilidades e refinar métricas ao longo do tempo, que estão em código e conjuntos de dados públicos.
Para qualquer um avaliando produtos DeFi impulsionados por IA, o EVMBench pode se tornar a opção de auditoria de segurança de referência, acessível a todos. No entanto, dada a lacuna ofensiva/defensiva nos resultados atuais, grandes melhorias precisam ser feitas para que ele realmente detecte e corrija contratos para proteger os usuários.