257 palabras
2 minutos de lectura
Un equipo de la Universidad de Virginia, Microsoft Research y la Universidad de Tsinghua desarrolló un sistema que ayuda a los agentes de inteligencia artificial que modifican su propio software a anticipar las consecuencias de cada cambio antes de probarlo. El trabajo se publicó como preprint en arXiv, es decir, todavía no pasó por revisión de pares.
Los agentes autoeditables pueden mejorar su rendimiento, pero cada cambio puede introducir errores y probar modificaciones fallidas consume recursos. El método se apoya en HyperAgents, un marco con dos agentes: uno que resuelve tareas y otro que modifica el código y las instrucciones de ambos. Los autores agregaron un componente, el «Improvement Dynamics Model», que predice el resultado de una modificación y distingue entre una respuesta incorrecta y un intento que no llega a terminar. Si el pronóstico es peor que el desempeño actual, el agente recibe una oportunidad adicional de revisar el cambio. Los pesos del modelo de lenguaje no se modifican.
Resultados
- Programación: en 166 tareas reservadas para la evaluación, los agentes seleccionados lograron una tasa de éxito mediana de cerca del 30%, frente al 22% de HyperAgents y el 16% del agente inicial. Se hicieron cinco corridas de 40 rondas.
- Corrección de matemática: en 100 tareas nuevas, el pronosticador transferido coincidió exactamente con las notas de expertos en el 55% de los casos, contra 51% con uno nuevo y 47% con HyperAgents.
Los resultados no demuestran que los agentes de IA puedan reemplazar a revisores, correctores o programadores, señaló la cobertura de TechXplore.
Fuentes: arXiv y TechXplore.
