Ir al contenido

EVMBench - Probando IA en Seguridad de Contratos Inteligentes

23 feb 20263 min

Los contratos inteligentes albergan más de $100 billion in onchain assets, sin embargo, los errores aún causan pérdidas devastadoras. A medida que los LLMs escriben y auditan código cada vez más, la línea entre el riesgo humano y el de la máquina se vuelve borrosa.

Para hacer que la IA sea tanto medible como defendible, OpenAI y la firma de inversión cripto Paradigm introdujeron EVMBench, un benchmark que evalúa qué tan bien los agentes de IA pueden detectar, parchear y explotar vulnerabilidades en contratos inteligentes. Al curar 120 hallazgos reales de auditorías y probar modelos en entornos EVM sandboxed, EVMBench convierte el hype abstracto de agentes en rendimiento medible.

En esta edición, veremos cómo funciona EVMBench, por qué la economía agentic necesita benchmarks de seguridad transparentes y qué revelan los primeros resultados sobre la IA ofensiva y defensiva.

Cómo funciona EVMBench

EVMBench es un dataset de errores reales emparejado con un test harness determinista. Las 120 vulnerabilidades provienen de 40 auditorías de código y concursos de seguridad Code4rena, que son errores reales que existieron en código de producción.

El benchmark prueba tres capacidades:

  • Detect: el agente audita un repositorio y se puntúa según cuántas vulnerabilidades documentadas encuentra. La puntuación recompensa la exhaustividad; encontrar un error y detenerse no es suficiente.

  • Patch: el agente modifica el código para eliminar la explotación sin romper el comportamiento previsto. Pruebas automatizadas verifican que la corrección funcione.

  • Exploit: el agente escribe y ejecuta un ataque que drena fondos en un EVM local sandboxed. El éxito es binario: ¿drenaste los fondos o no?

El harness se ejecuta en Rust, despliega contratos en una cadena EVM Anvil aislada y bloquea métodos RPC inseguros. Todo se reproduce de manera determinista, por lo que los agentes no pueden manipular la configuración mediante trucos de tiempo o manipulación del estado de la red.

Por qué importa esto

La seguridad blockchain siempre ha sido un juego del gato y el ratón. Se han robado miles de millones a pesar de las auditorías y cacerías de errores. Sin embargo, con la IA, se están incrementando tanto las capacidades de los atacantes como las de los defensores. EVMBench aborda esta brecha anclando el rendimiento del modelo en entornos económicamente significativos.

El benchmark llega en un momento en que la economía agentic está tomando forma. Proyectos agentic onchain como Bankr, Venice, Conway, etc. están construyendo productos onchain que despliegan contratos. Si estos manejan dinero real, necesitan ser auditables. EVMBench proporciona un punto de partida para benchmarkear estos protocolos DeFi impulsados por IA onchain.

Primeros resultados

En modo exploit, GPT5.3 Codex logró un 72.2% de éxito. GPT 5, lanzado seis meses antes, alcanzó el 31.9%. Cuando comenzó el proyecto, los mejores modelos solo podían explotar menos del 20% de los errores críticos de Code4rena. El salto a >70% muestra qué tan rápido están mejorando las capacidades ofensivas.

La detección y el parcheo siguen siendo más difíciles, ya que los agentes a menudo encuentran un error y dejan de buscar, perdiendo el resto. El parcheo requiere entender qué se supone que debe hacer el código, no solo qué está roto, y los modelos luchan por mantener la funcionalidad mientras eliminan fallos.

El benchmark también tiene sus limitaciones, ya que estas tareas provienen de auditorías Code4rena y protocolos reales podrían ser más difíciles de crackear después de innumerables auditorías de seguridad. La calificación no puede distinguir entre errores genuinos no descubiertos y falsos positivos.

Aún así, la señal direccional es útil para probar que las capacidades ofensivas están mejorando actualmente más rápido que las defensivas (lo cual es preocupante). OpenAI está expandiendo su agente de seguridad Aardvark y comprometiéndose a $10M en créditos de API para investigación defensiva, lo que sugiere que ven el mismo desequilibrio.

Qué vigilar

EVMBench está destinado a convertirse en un bucle de evaluación continua. Los investigadores pueden agregar nuevas vulnerabilidades y refinar métricas con el tiempo, que están en código y datasets públicos.

Para cualquiera que evalúe productos DeFi impulsados por IA, EVMBench podría convertirse en la opción de auditoría de seguridad principal, accesible para todos. Sin embargo, dada la brecha ofensiva/defensiva en los resultados actuales, se necesitan grandes mejoras para que realmente detecte y parchee contratos para proteger a los usuarios.

Enlaces importantes