La inteligencia artificial es el dominio del lenguaje. ¿Debemos confiar en lo que dice?

«Creo que nos permite ser más considerados y reflexivos sobre los problemas de seguridad», dice Altman. «Parte de nuestra estrategia es: el cambio gradual en el mundo es mejor que el cambio repentino». O, como dijo la vicepresidenta de OpenAI, Mira Moratti, cuando le pregunté sobre el trabajo del equipo de seguridad que restringe el acceso abierto al software: “Si vamos a aprender a implementar estas poderosas tecnologías, comencemos cuando hay mucho en juego. .”

Mientras que el propio GPT-3 Con 285 000 núcleos de CPU en un clúster de supercomputadoras en Iowa, OpenAI opera fuera del área de la Misión de San Francisco, en una fábrica de equipajes renovada. En noviembre del año pasado, conocí a Ilya Sotskefer allí, tratando de obtener una explicación de un profano sobre cómo funciona realmente GPT-3.

«Esa es la idea básica de GPT-3», dijo Sotskever con atención, inclinándose hacia adelante en su silla. Tiene una forma interesante de responder a las preguntas: algunos comienzos en falso: «Puedo darte una descripción que coincide aproximadamente con la descripción que pediste», interrumpidos por largas pausas de meditación, como si estuviera registrando toda la respuesta en curso.

Finalmente dijo: «La idea básica de GPT-3 es una forma de relacionar una noción intuitiva de comprensión con algo que puede medirse y entenderse mecánicamente, y esa es la tarea de predecir la siguiente palabra en el texto. Otras formas de inteligencia artificial intentan codificar información sobre el mundo: las estrategias de ajedrez de los grandes maestros, los principios de la climatología. Pero la inteligencia GPT-3, si la inteligencia es la palabra para ello, viene de abajo hacia arriba: a través del verbo elemental para predecir la siguiente palabra. Para el entrenamiento de GPT-3, se le da al modelo un «indicador» (por ejemplo, algunas oraciones o párrafos de texto de un artículo de periódico, una novela o un artículo científico) y luego se le pide que sugiera una lista de posibles palabras que podría completar la secuencia, ordenada por probabilidad. En las primeras etapas del entrenamiento, las palabras propuestas son una tontería. Pregúntele al algoritmo con una oración como «El escritor ha eliminado la última palabra de la primera palabra. . . ”» y las conjeturas serían una especie de flujo de tonterías: lista: aparece la palabra faltante correcta: «párrafo». fortalece y debilita cualquier conexión neuronal aleatoria que genere esa sugerencia en particular Todas las conexiones que generaron conjeturas incorrectas Luego se mueve al siguiente enrutador Con el tiempo, con suficientes iteraciones, el programa aprende.

En enero, OpenAI agregó una función que permite a los usuarios dar instrucciones directas de GPT-3 como un aviso, en lugar de simplemente pedirles que extiendan un segmento de texto de muestra. Por ejemplo, usando el modo de ayuda, GPT-3 recibió una vez el mensaje: «Escriba un ensayo sobre el papel de la metaficción en el trabajo de Italo Calvino». Un breve párrafo que comenzaba así:

El autor italiano Italo Calvino es considerado un experto en metaficción, un tipo de escritura en la que el autor rompe la cuarta pared para hablar del acto mismo de escribir. Para Calvino, la metaficción es una forma de explorar la naturaleza de la realidad y las formas en que las historias pueden dar forma a nuestras percepciones del mundo. Sus novelas a menudo involucran estructuras lúdicas y laberintos que manipulan los límites entre la realidad y la fantasía. En el caso de que el viajero se encuentre en una noche de invierno, por ejemplo, el lector se ve constantemente interrumpido por discusiones en el metanivel del acto de leer y la naturaleza de la narración. . . .

Puede dar a GPT-3 exactamente el mismo mensaje, una y otra vez, y cada vez generará una respuesta única, algunas más persuasivas que otras, pero casi todas notablemente sencillas. Las indicaciones indicativas pueden adoptar todo tipo de formas: “Dame una lista de todos los ingredientes de la salsa boloñesa”, “Escribe un poema sobre un pueblo costero francés al estilo de John Ashbery”, “Explica el Big Bang en un lenguaje que un niño de 8 años -el viejo entiende.” A veces, las primeras veces que alimenté estímulos GPT-3 de este tipo, sentí que se me ponía la piel de gallina. la siguiente palabra

Pero la IA tiene una larga historia de crear la ilusión de inteligencia o comprensión sin realmente entregar los productos. en papel muy discutido Publicado el año pasado, la profesora de lingüística de la Universidad de Washington, Emily Bender, el ex investigador de Google Timnit Gebru y un grupo de coautores declararon que los grandes modelos de lenguaje eran solo ‘loros aleatorios’: es decir, el programa usaba la aleatorización solo para remezclar oraciones escritas por humanos. . Bender me dijo recientemente por correo electrónico: «Lo que ha cambiado no es un paso por encima de cierto umbral hacia la ‘inteligencia artificial’. En cambio, dijo, lo que ha cambiado son las ‘innovaciones de hardware, software y económicas que permiten la acumulación y el procesamiento de enormes conjuntos de datos’, así como la cultura La tecnología que «las personas que construyen y venden tales cosas pueden tener» está lejos de construirla sobre cimientos de datos inexactos.