El texto proporcionado describe Self-Developing, un novedoso marco de trabajo diseñado para permitir que grandes modelos de lenguaje mejoren de forma autónoma sin intervención humana. Este sistema utiliza una fábrica de algoritmos que genera código Python ejecutable para mejorar un modelo semilla, creando un ciclo recursivo de desarrollo. Mediante la Optimización de Preferencias Directas (OPD), el marco entrena al generador para distinguir entre estrategias exitosas y no exitosas, aprendiendo eficazmente a producir código de mayor calidad con el tiempo. Los investigadores descubrieron que este método descubre técnicas sofisticadas de fusión de modelos que superan los estándares diseñados por humanos en tareas de razonamiento matemático. El marco optimiza aún más los resultados mediante un programa de decaimiento de temperatura para equilibrar la exploración creativa con la precisión a medida que avanzan las iteraciones. En definitiva, la fuente demuestra que la IA puede expandir de forma independiente sus propias capacidades y descubrir nuevos algoritmos que se transfieren eficazmente a nuevos dominios.
Enlace al artículo científico, para aquellos interesados en profundizar en el tema: "Can Large Language Models Invent Algorithms to Improve Themselves?: Algorithm Discovery for Recursive Self-Improvement through Reinforcement Learning", por Yoichi Ishibashi y colegas. Publicado el 10 de Junio del 2025.
El resumen, la transcripción, y la traducción fueron hechas usando herramientas de software de Inteligencia Artificial.
El resumen se presenta en la forma de un diálogo entre dos personajes sintéticos que llamaremos Alicia y Beto.
Resumen
Beto
Sabes, todo el mundo habla del problema de la caja negra en la IA, donde realmente no sabemos qué ocurre dentro de la red neuronal. Le damos datos, sucede magia y obtenemos una respuesta.
Alicia
Sí.
Beto
Pero estuve leyendo este artículo de NEC Corporation esta mañana, y da la sensación de que estamos dejando atrás la caja negra. Nos movemos hacia algo más parecido a un espejo negro.
Alicia
Es una forma un poco siniestra de empezar un análisis profundo.
Beto
Bueno, mira la premisa central aquí. El artículo se titula: "¿Pueden los grandes modelos de lenguaje inventar algoritmos para mejorarse a sí mismos?". Y la respuesta no es solo sí. Es que están inventando algoritmos que los ingenieros humanos ni siquiera habían pensado. Y, francamente, algunos que ni siquiera tienen sentido lógico para nosotros, pero aun así funcionan.
Automejora Recursiva mediante Aprendizaje for Refuerzo
Alicia
Definitivamente es un punto de inflexión.
Normalmente pensamos en la mejora de la IA como un, ya sabes, un problema de trabajo humano.
Beto
Totalmente.
Alicia
Ajustamos la arquitectura. Curamos los datos. Afinamos el código de optimización. Este artículo, que se centra en algo llamado "algoritmos auto-desarrollantes", propone que, en cierto modo, despidamos al ingeniero humano y dejemos que el modelo diseñe su propia cirugía cerebral.
Beto
Exacto. Y eso es justamente en lo que quiero profundizar hoy. No estamos hablando de una IA que escriba mejores ensayos, o que arregle una coma mal puesta.
Alicia
No, no.
Beto
Hablamos de un LLM que escribe código Python ejecutable para fusionar redes neuronales, prueba ese código, y luego, esto es la parte crítica, aprende de sus errores para escribir mejor código en la siguiente iteración. Es recursivo.
Alicia
Exacto. Esto es un laboratorio de investigación automatizado. Lo llaman "la fábrica de algoritmos". Y para entender por qué esto es un gran asunto, tenemos que ver la tarea específica que le dieron: la fusión de modelos, "model merging".
Beto
Bien. Definamos eso antes de profundizar porque "model merging" suena un poco como "el monstruo de Frankenstein".
Alicia
En realidad es bastante elegante en el mundo del código abierto de IA. Tienes un modelo base, digamos Mistral 7B; la gente toma ese base y lo afina. Entonces obtienes una versión que es excelente en matemáticas, otra que es excelente en programación, quizá otra para textos médicos, pero todos son archivos separados.
Beto
Y si quiero un modelo que haga todo eso, no puedo simplemente cargarlos todos en memoria. Sería tan ineficiente.
Alicia
Correcto. Quieres combinarlos.
Beto
Quieres fusionarlos.
Alicia
Quieres mezclar sus pesos. Una red neuronal es básicamente una enorme lista de números: parámetros. La fusión de modelos es el proceso matemático de combinar esas listas. Históricamente, los humanos han usado aritmética lineal para esto.
Beto
Así que simplemente promediamos los pesos.
Alicia
Tomamos el promedio o usamos algo como "task arithmetic", que es una forma específica de añadir el vector de habilidad al modelo base.
Beto
Es básicamente álgebra lineal. Estás sumando matrices.
Alicia
Lo es. Y a los humanos les gusta el álgebra lineal porque es limpia. Es comprensible, ¿verdad? Si promedio el modelo A y el modelo B, sé qué esperar.
Pero los investigadores de NEC se hicieron una pregunta diferente: ¿es un promedio simple realmente la mejor manera de combinar inteligencias? ¿O existe alguna función no lineal compleja que funcione mejor, pero que sea demasiado rara para que un humano la imagine?
Beto
Así que dijeron en esta fábrica de algoritmos: recorramos la mecánica del experimento porque es sorprendentemente ingeniosa.
Usaron un modelo semilla para esto, ¿verdad?
Alicia
Sí. Usaron un modelo llamado OpenChat, que es una derivación de Mistral. Y este modelo semilla actúa como el programador. Su trabajo no es responder preguntas. Su trabajo es producir una función en Python que tome otros dos modelos, digamos un modelo de matemáticas y un modelo de ciencias, y los fusione.
Beto
Así que la entrada es: aquí tienes dos redes neuronales, y la salida es solo un script.
Alicia
Precisamente. Luego el sistema ejecuta ese script. Realmente corre el código, construye el nuevo modelo fusionado y lo lanza inmediatamente a un campo de pruebas. Usaron GSM8K, que son problemas de matemáticas a nivel escolar.
Beto
OK.
Alicia
Y el benchmark de matemáticas, que es significativamente más difícil; estamos hablando de nivel de competición.
Beto
Esta es la fase de evaluación. La IA construye una versión de sí misma, le da un examen de matemáticas y simplemente ve qué pasa.
Alicia
Correcto. Y aquí es donde llega el chequeo de realidad. En los dos primeros intentos, el modelo semilla está simplemente… está con alucinaciones de código. Escribe scripts que se bloquean. Escribe scripts que producen modelos que devuelven galimatías.
Beto
Sí, me lo imagino.
Alicia
Si lo estuviera haciendo yo, probablemente nos rendiríamos tras el décimo error de sintaxis.
Beto
Pero aquí es donde entra el bucle: el mecanismo de retroalimentación. Usaron DPO, "Direct Preference Optimization", "optimización por preferencia directa". Veo este término por todas partes. Pero normalmente se usa para que los chatbots sean amables. ¿Cómo lo aplicaron a la generación de código?
Alicia
Esta es la innovación crítica. Normalmente DPO se utiliza para alinear un modelo con valores humanos, como "no seas grosero". Aquí lo utilizaron para alinear el modelo con el rendimiento. Tomaron fragmentos de código que producían puntuaciones altas en matemáticas y los etiquetaron como "ganadores". Y tomaron el código que se estrelló o bajó puntuaciones y lo etiquetaron como "perdedores".
Beto
Así que están entrenando al modelo semilla para reconocer la estructura de un algoritmo de fusión de alto rendimiento, no solo el código, sino la forma del buen código.
Alicia
Sí, están optimizando al arquitecto, no solo al edificio.
Después de entrenar con esa retroalimentación, el modelo semilla lo intenta de nuevo, iteración dos. Escribe nuevo código apuntando a ese montón de ganadores. Lo corrieron durante tres iteraciones completas.
Beto
Me recuerda a la evolución, pero, masivamente acelerada. Tienes mutación, que es la generación del código; selección natural, que es la prueba masiva; y luego reproducción, que es volver a entrenar el modelo.
Alicia
Esa es una analogía muy, muy precisa. Y la afirmación es que para la iteración tres, la IA ya no estaba solo adivinando. Había desarrollado una especie de teoría sobre cómo fusionar modelos.
Beto
Bien, veamos el marcador porque puedes tener una teoría genial, pero ¿las matemáticas realmente mejoraron?
Alicia
Los resultados fueron sorprendentes en los problemas de palabras de GSM8K. El modelo semilla empezó alrededor de 70.1%. Después del bucle de auto-desarrollo, el modelo mejorado alcanza 76.1%.
Beto
Vaya, eso es un aumento de 6 puntos; en el mundo de los benchmarks LLM, 6% suele ser un salto generacional. Es un gran logro.
Alicia
Pero la historia real, la que realmente me hizo sentarme derecho, fue el benchmark de matemáticas más duro.
Beto
Bien.
Alicia
Recuerda, este conjunto de datos es notoriamente difícil. No es "Juanito tiene cinco manzanas". Es álgebra y cálculo complejos. El modelo semilla empezó en 0.5% de exactitud.
Beto
Medio por ciento. Básicamente estaba adivinando a ciegas.
Alicia
Completamente. Después de la auto-mejora, saltó a 8.5%.
Beto
Guau, pasar de 0.5 a 8.5 es enorme en términos relativos. Eso es la diferencia entre no hablar el idioma y quizá poder aprobar un examen.
Alicia
Exacto. Pasó de incompetencia total a capacidad funcional. Y lo hizo sin un maestro. No hubo GPT-4 trayendo las respuestas. Se autoarrancó puramente por prueba y error.
Pero para mí, los números son en realidad menos interesantes que el propio código. Cuando los investigadores abrieron los archivos Python que la IA escribió, encontraron cosas que, bueno, no parecían código humano.
Beto
Esta es la sección de algoritmos alienígenas del artículo. Vi un detalle que me dejó helado: Gaussian blur.
Alicia
Sí. El Gaussian blur.
Beto
Para quien esté escuchando, si no eres diseñador gráfico, Gaussian blur es un filtro de procesamiento de imágenes. Lo usas para que una foto se vea borrosa. ¿Por qué demonios una IA intentaría aplicar un filtro de fotos a un modelo de matemáticas?
Alicia
Eso pasó en la iteración uno. La IA simplemente estaba explorando el espacio de búsqueda, como tanteando. Generó una función que aplicaba un filtro Gaussiano (Gaussian blur) a las matrices de pesos de la red neuronal.
Beto
Ya veo.
Alicia
Técnicamente, una matriz de pesos se parece a una cuadrícula 2D de números, justo como una imagen es una cuadrícula de píxeles.
Beto
Claro. Pero en una imagen, los píxeles cercanos están relacionados. El píxel A está al lado del píxel B porque ambos son parte de una nariz o algo así.
Alicia
Exacto.
Beto
En una red neuronal, el peso A y el peso B pueden ser conceptos totalmente no relacionados.
Alicia
Exacto. Por eso un ingeniero humano nunca lo haría. Viola la estructura lógica de los datos. Asume localidad espacial donde no la hay. Pero a la IA no le importó la lógica. Simplemente vio una cuadrícula de números y pensó: ¿qué pasa si la desenfoco?
Beto
¿Y funcionó?
Alicia
No mucho. No fue el algoritmo ganador, pero indica que la IA está dispuesta a probar operaciones ilógicas que nosotros filtraríamos de nuestro propio proceso creativo al instante. Está pensando lateralmente porque simplemente no conoce las reglas.
Beto
Así que Gaussian Blur fue un fracaso. Pero claramente algo funcionó para llegar a ese 8.5%. ¿Qué hizo el algoritmo ganador, creo que lo etiquetaron como Algoritmo A? ¿Qué hizo realmente?
Alicia
Para la iteración tres, el código había evolucionado. Dejó de usar filtros de imagen y empezó a trabajar con geometría de alto nivel. El algoritmo ganador usó algo llamado "geometric matching with adaptive weighting", "correspondencia geométrica con pesos adaptativos".
Beto
Bien, desglosémoslo. Espera adaptativa suena a que está decidiendo cuánto de cada modelo usar.
Alicia
Sí, pero dinámicamente. Un humano usualmente diría: vamos a tomar 50% del modelo A y 50% del modelo B, o quizá 70/30. Elegimos un número global.
Beto
¿Verdad? Una proporción fija.
Alicia
La IA escribió un script que mide la distancia entre los dos modelos primero.
Beto
Distancia en términos de cuán diferentes son sus pesos.
Alicia
Correcto. Mira la magnitud y la dirección de la diferencia entre las dos redes neuronales. Si los modelos son muy diferentes en cierta capa, el algoritmo ajusta la proporción de mezcla específicamente para esa capa.
Beto
Oh, wow.
Alicia
Creó una fórmula donde el porcentaje de mezcla es una función de la diferencia entre los modelos.
Beto
Eso es increíblemente sofisticado. No solo está mezclando ingredientes. Está analizando la reacción química entre los ingredientes antes de decidir la proporción.
Alicia
E inventó una máscara de consenso de signos personalizada. Esta es la parte que realmente me impresionó. Básicamente, examina los parámetros individuales. Si el modelo A dice que un número debe ser positivo y el modelo B dice que debe ser negativo, ...
Beto
... la IA decide que es un conflicto destructivo que no puede reconciliarse.
Alicia
Correcto. Entonces la IA escribió código para poner a cero esos parámetros, para simplemente ignorar el ruido donde los modelos discrepan. Está realizando cirugía. Literalmente está cortando las neuronas conflictivas.
Beto
Y fíjate lo complejo que es eso. Un humano podría escribir eso, supongo. Pero tendríamos que conducir la matemática, probar que funciona y luego implementarlo. La IA simplemente lo tropezó a través de millones de ensayos en la fábrica.
Alicia
Crea un gran juego de eficiencia.
Pero aquí viene el escepticismo que sé que guardas.
Beto
Me conoces demasiado bien. Mi escepticismo es sobre el sobreajuste. La IA tuvo acceso a ingredientes específicos: Mistral, Abel y OpenHermes. Quizá simplemente memorizó las huellas específicas de esos modelos. ¿No aprendió a fusionar en general, sino cómo fusionar esos archivos específicos?
Alicia
Esa es la primera pregunta que cualquier revisor haría. ¿Es esto una herramienta general o un truco para este test específico?
Así que los investigadores hicieron una prueba de transferibilidad. Tomaron el Algoritmo A, el código escrito por la IA, y lo aplicaron a un conjunto completamente nuevo de modelos: Wizard Math, BioMistral y Starling.
Beto
Modelos que la fábrica de algoritmos nunca había visto.
Alicia
Nunca vistos, nunca analizados, con datos de entrenamiento distintos y afinamientos ("fine-tunings") distintos.
Beto
¿Se rompió el código?
Alicia
Lo aplastó. De hecho, la brecha de rendimiento fue aún mayor. En estos modelos nuevos, el algoritmo de la IA venció al máximo rendimiento humano (task arithmetic) por 7.4%.
Beto
Bien, eso cambia la conversación completamente. Eso significa que no solo hackeó la prueba. Descubrió un principio fundamental de la topología de redes neuronales que se mantiene entre distintos modelos.
Alicia
Descubrió una ley universal de fusión que simplemente no habíamos encontrado aún. Ésta es la idea profunda aquí. Estamos pasando de IA que aprende datos, como leer Wikipedia, a IA que aprende metodología.
Beto
Esa distinción es vital. Normalmente nos preocupamos de que la IA se quede sin datos de entrenamiento: "ya leímos Internet entero, ¿y ahora qué?".
Pero este artículo sugiere que la IA no necesita más datos para mejorar; necesita mejor arquitectura interna. Y puede diseñar esa arquitectura por sí misma.
Alicia
Rompe el cuello de botella. Si el factor limitante del progreso en IA es el número de investigadores brillantes en OpenAI o Google que puedan inventar nuevos algoritmos, ...
Beto
... Sí, eso es una restricción muy ajustada.
Alicia
Es una restricción muy ajustada. Pero si puedes desplegar 10,000 instancias de esta fábrica de algoritmos corriendo 24/7 iterando su propio código, el ritmo de innovación se desacopla completamente de los tiempos humanos.
Beto
Me recuerda tanto al momento AlphaGo. La famosa jugada 37.
Alicia
Los investigadores hacen exactamente esa comparación en el artículo.
Beto
Para quien no siga Go: AlphaGo jugó una jugada que todos los comentaristas humanos pensaron que era un error. Parecía fea, parecía incorrecta. Pero resultó ser el punto de inflexión del juego.
Alicia
Fue lógica alienígena. Y estamos viendo aquí el equivalente en código. La máscara de consenso de signos y la espera geométrica adaptativa son jugadas 37. Son estrategias matemáticamente superiores que no encajan con nuestra preferencia intuitiva por promedios lineales simples.
Beto
Pero hay un reverso de la jugada 37, ¿no? No pudimos explicar por qué era buena hasta mucho después de que el juego terminó. Si la IA comienza a diseñar sus propios algoritmos usando, no sé, matemáticas vectoriales de 12 dimensiones y técnicas de filtrado extrañas, ¿perdemos la capacidad de interpretar nuestros propios sistemas?
Alicia
Absolutamente. Ya luchamos para interpretar por qué los LLM dicen lo que dicen. Ahora imagina que la propia estructura del LLM fue escrita por otro LLM usando código que ningún humano ha auditado por legibilidad. Podríamos acabar con sistemas que funcionan perfectamente, pero que son cajas negras totales o tal vez cajas ofuscadas.
Beto
"Funciona. No lo toques."
Alicia
"Y no preguntes por qué". Si la IA optimiza puramente para la puntuación GSM8K, podría tomar atajos o usar trucos matemáticos que son frágiles en el mundo real, pero no podremos detectarlos porque el código es demasiado denso.
Beto
Y hablando del mundo real, este es un experimento a pequeña escala. Mistral 7B es un modelo capaz, pero es pequeño comparado con los estándares actuales. ¿Qué pasa si aplicas este bucle a algo como GPT-5?
Alicia
Esa es la pregunta de mil millones de dólares. El artículo prueba el concepto en modelos pequeños. Pero, en general, el "meta-learning", aprender a aprender, escala muy bien: un modelo más inteligente debería ser un mejor programador. Así que GPT-5 corriendo este bucle podría no solo inventar mejores algoritmos de fusión; podría inventar mejores funciones de activación. Podría reescribir su propio mecanismo de atención.
Beto
Ese sería el paso precursor. Si escribe código que lo hace un 5% más inteligente, la siguiente versión será un 5% mejor escribiendo código.
Alicia
Teóricamente, sí. Prácticamente, siempre llegas a rendimientos decrecientes eventualmente. Pero este artículo muestra que aún estamos muy lejos de esos rendimientos decrecientes. Quiero decir, el salto de 0.5% a 8.5% en el benchmark de matemáticas no es un rendimiento decreciente. Es una explosión de habilidad.
Beto
Quiero volver al aspecto DPO, ese ciclo de retroalimentación, porque creo que ahí está la salsa secreta que hace esto práctico para cualquiera que trabaje en tecnología. No basta con generar ideas. Necesitas una manera rigurosa y automatizada de eliminar las malas.
Alicia
Absolutamente. La fábrica de algoritmos produce 99% de basura. La magia no está en la generación. Está en el filtro. El DPO actuó como la presión evolutiva. Sin esa estricta etiquetación ganador-perdedor, el modelo simplemente derivaría. Realmente enfatiza que si quieres usar IA para I+D, tu pipeline de evaluación es más importante que tu prompt.
Beto
Necesitas ser capaz de calificar la prueba instantáneamente ...
Alicia
... y con precisión. Si tu prueba está sesgada, la IA optimizará para el sesgo. Aquí, las matemáticas son geniales porque la respuesta es correcta o incorrecta; es objetiva. Hacer esto para, digamos, escribir una mejor novela sería mucho más difícil porque la señal de retroalimentación es muy difusa.
Beto
Es un gran punto. Las matemáticas permiten este bucle cerrado porque la verdad es binaria.
Alicia
Lo que sugiere que los primeros lugares donde veremos esta explosión de auto-desarrollo serán en código, matemáticas e ingeniería: campos con verdades objetivas.
Beto
Para cerrar, tenemos una IA que asume el rol de investigador. Formula una hipótesis escribiendo código, corre un experimento fusionando modelos, recoge datos de las puntuaciones de las pruebas y luego refina su teoría. Es el método científico automatizado.
Alicia
Y lo está haciendo más rápido que nosotros. Mi conclusión es que la línea entre modelo y desarrollador se está disolviendo. El modelo se está convirtiendo en su propio desarrollador.
Beto
Es una idea fascinante y un poco mareante. Empezamos preguntando si nos estamos acercando a la singularidad. No creo que estemos allí todavía, pero esta fábrica de algoritmos ciertamente parece uno de los motores que podría impulsarnos hasta allí.
Alicia
Definitivamente es un prototipo del motor.
Beto
Pasaré el resto del día tratando de averiguar si puedo aplicar desenfoque gaussiano a mis declaraciones de impuestos para optimizarlas.
Alicia
No recomendaría esa estrategia. Pero, quién sabe, quizá descubras una jugada 37 fiscal.
Beto
Aquí va un pensamiento final para quien nos escucha. Valoramos la ingeniosidad humana porque pensamos que la creatividad es nuestro monopolio. Pero si una máquina puede mirar una cuadrícula de números, aplicar un filtro de fotos, fallar, aprender y luego inventar una nueva forma de geometría que supere a nuestros mejores ingenieros, ¿cuál será el papel del experto humano en la cadena dentro de cinco años? ¿Seremos los arquitectos o solo los inspectores de seguridad?
Alicia
¿Seremos simplemente los consumidores?
Beto
Gracias por bucear profundo con nosotros. Mantén tu mezcla de pesos adaptativa y nos vemos en la próxima.
Entradas
