OpenAI publica 372 resultados matemáticos de un modelo de IA no lanzado, y los matemáticos piden pruebas de cómo se obtuvieron
OpenAI publicó cientos de supuestas soluciones o avances sobre problemas abiertos de matemáticas e informática teórica, muchos con demostraciones verificadas por ordenador. El modelo que los produjo no es público y los resultados no han sido revisados por pares.
Qué pasó: OpenAI publicó el martes 372 resultados producidos por un modelo interno “de frontera”, colgándolos en un repositorio de GitHub en lugar de en revistas académicas, dijo la empresa. Cada resultado resuelve o avanza sustancialmente en una cuestión abierta de matemáticas o informática teórica, según OpenAI, informó Scientific American. Entre las afirmaciones: una solución a la conjetura de Kakeya en cuatro dimensiones, mejoras en importantes algoritmos informáticos y avances relacionados con la hipótesis de Riemann.
Cómo dice que lo hizo: Un portavoz de OpenAI dijo a Scientific American que casi todos los resultados salieron de una sola instrucción dada a un solo agente de IA, aunque algunos requirieron varios intentos. OpenAI dice que el resultado medio utilizó una capacidad de cómputo equivalente a unas tres horas de “razonamiento” de ChatGPT Pro. Eso contrasta con el resultado anterior de la empresa sobre Navier-Stokes, que requirió un enjambre de 10 000 agentes y millones de dólares en computación, informó The Decoder.
Cómo comprobarlo: Muchas de las demostraciones vienen con versiones escritas en Lean, un lenguaje de programación que permite a un ordenador verificar cada paso lógico, dijo OpenAI. Una verificación en Lean muestra que una demostración es lógicamente válida; no muestra si un resultado es nuevo o importante. OpenAI también publicó 10 resúmenes del razonamiento del modelo y estadísticas sobre cuántos problemas intentó, pero no las instrucciones ni el cómputo por problema.
Las objeciones: Un grupo asesor independiente de matemáticos del Institute for Advanced Study, al que OpenAI consultó, ha recomendado que las empresas publiquen el modelo, la instrucción exacta y el tiempo de cómputo de cada resultado, informó Scientific American. OpenAI dijo que se toma en serio las directrices, pero que no está obligada por ellas. “Deberíamos pedir comprobantes”, dijo el matemático del MIT Andrew Sutherland. El matemático de la Universidad de Toronto Daniel Litt dijo que publicar los resultados “va a ser algo bueno para las matemáticas”.
Lo próximo: OpenAI dice que trabaja para lanzar el modelo “de forma responsable” y que financiará talleres y conferencias para comprender los resultados producidos por la IA. Se espera que los matemáticos necesiten meses para revisar el lote.