Pregunte al sistema de inteligencia artificial creado por la startup alemana Aleph Alpha sobre «Lieblingssportteam» (equipo deportivo favorito) en alemán, y hable sobre el Bayern Munich y el ex mediocampista Toni Kroos. Prueba la red neuronal en «equipo deportivo favourito», y responde en español sobre el Atlético de Madrid y su victoria en la Copa de Europa hace mucho tiempo. En inglés, son los 49ers de San Francisco.
Responder una pregunta nunca antes vista, emparejar el lenguaje con la cultura, enriquecer las respuestas con hechos en espera, hasta hace poco estaban fuera del ámbito de las redes neuronales, los motores de predicción estadística que son un pilar de la inteligencia artificial (IA). El enfoque Alpha Alpha, y otros similares, representan un cambio en la IA de los sistemas «supervisados» a los que se les enseña a completar tareas, como identificar automóviles y peatones o encontrar clientes infieles a través de ejemplos etiquetados. Este nuevo tipo de red de «aprendizaje auto-supervisado» puede encontrar patrones ocultos en los datos sin decirles de antemano lo que están buscando y aplicar el conocimiento de un dominio a otro.
Los resultados pueden ser extraños. El GPT-3 de Open AI puede escribir Prosa larga y persuasiva; Jurassic-1 Jumbo AI21 Israel Labs sugiere Ideas para publicaciones de blog Sobre turismo o coches eléctricos. Facebook utiliza el sistema de comprensión del idioma para Buscar y filtrar discursos de incitación al odio. Alpha Alpha está afinando su modelo general de inteligencia artificial utilizando datos especializados en áreas como finanzas, automóviles, agricultura y productos farmacéuticos.
«¿Qué puedes hacer con estos modelos además de escribir un texto maravilloso que parece haber sido escrito por un humano?» dice Jonas Andrulis, CEO y fundador de Alpha Alpha. Hombre de negocios en serie Vendió una antigua empresa a ApplePermaneció tres años en el departamento de I + D y luego construyó su proyecto actual en Heidelberg. «Estos modelos nos liberarán de la carga del trabajo de oficina normal o de las ajetreadas tareas del gobierno, como redactar informes que nadie lee. Es como un asistente capaz, o un número ilimitado de pasantes inteligentes».
Los sistemas auto-supervisados ponen patas arriba el desarrollo de software tradicional: en lugar de abordar un problema específico en un campo estrecho, los nuevos ingenieros de IA primero construyen sus propios modelos de autoaprendizaje, lo que les permite ingerir contenido de Internet y conjuntos de datos privados, y luego calcular saber qué problemas resolver. Empiezan a surgir aplicaciones prácticas.
Para los trabajadores de oficina de cuello blanco, por ejemplo, Aleph Alpha se asocia con un fabricante de software de automatización del flujo de trabajo Barden Explora cómo los usuarios pueden ingresar comandos de texto libre en diferentes idiomas para generar código útil sin saber programar.
Como medida del progreso del campo, hace solo dos años, la red neuronal moderna, un sistema de comprensión del lenguaje llamado BERT, contenía 345 millones de variables. Aleph Alpha, que cerró una ronda de financiación de 23 millones de euros (27 millones de dólares) en julio, está entrenando un modelo de inteligencia artificial de 13.000 millones de variables en Oracle Cloud Infrastructure (OCI), utilizando cientos de las GPU en red más potentes de Nvidia de alta velocidad. El modelo Alpha Alpha II tiene 200 mil millones de parámetros.
La computación en la nube, como OCI, elimina importantes limitaciones de desarrollo. Hendrik Brands, cofundador y socio de Capital de riesgo anticipado En Munich, que lideró la última ronda de financiación de Alpha Alpha. «La capacidad de procesamiento disponible en la nube conducirá a una resolución de AGI, y eso sucederá en algún momento, aunque no quiero decir cuándo».
Acceso y Ética
Además del acceso a la computación en la nube, los sistemas autosupervisados han experimentado un aumento de diez veces en la potencia de computación de la GPU en los últimos cuatro años, la aparición de los llamados modelos de conmutador que aprovechan ese procesamiento paralelo y la disponibilidad de más datos de capacitación en línea. También han provocado discusiones sobre quién tiene acceso a los modelos, los recursos informáticos que los respaldan y cómo se comportan de manera justa en el mundo real.
Interpretar rápidamente radiografías y ecografías en caso de una pandemia, sugerir pruebas de laboratorio, escribir resúmenes legales y restaurar la jurisprudencia y las patentes relevantes son aplicaciones potenciales, según un estudio. Informe de agosto por el Centro de Investigación de Modelos Fundacionales de la Universidad de Stanford, que se formó este año para estudiar las implicaciones tecnológicas y éticas de los sistemas de IA auto-supervisados.
“Vemos un modelo que se puede adaptar a muchas aplicaciones diferentes”, dice. Percy Liang, director del centro y profesor de informática en la Universidad de Stanford. Pero cualquier problema de seguridad o sesgo también se hereda. Esta es una espada de doble filo.»
Los políticos y los investigadores han pedido un acceso más abierto a los modelos fundamentales y los algoritmos detrás de ellos. Hasta ahora, la investigación sobre la construcción de modelos a gran escala ha sido en gran medida el dominio de las mayores empresas de tecnología: Microsoft y su socio OpenAI, Google, Facebook y Nvidia. La Academia de Inteligencia Artificial patrocinada por el gobierno chino en Beijing ha lanzado un modelo masivo con 10 veces los estándares GPT-3.
«No me gusta esto. En algún momento, tiene que haber ciertas cosas en el sector público, o perderemos el acceso democrático» Christian KerstingProfesor de Ciencias de la Computación y Jefe del Laboratorio de Inteligencia Artificial y Aprendizaje Automático de la Universidad Técnica de Darmstadt en Alemania. Kersting está colaborando con Aleph Alpha en un programa de doctorado que combina trabajo y estudio, en parte para ayudar a expandir el acceso a estos modelos.
El informe de Stanford encontró que los modelos empresariales también pueden reproducir los sesgos que encuentran en línea y tienen el potencial de producir discursos de odio y desinformación a gran escala. Los investigadores han demostrado que se les puede capacitar para hacer esto. Genera código malicioso.
Creador europeo
Andrulis contrata a Aleph Alpha, miembro de Oracle para startups Como innovador europeo que puede ayudar a garantizar que el continente produzca sus propios modelos básicos que las empresas y los gobiernos puedan utilizar. Entrena su sistema en inglés, alemán, español, francés e italiano, y apuesta a que puede ganar contratos como alternativa a los modelos de cimentación construidos en Estados Unidos y China.
El clima puede ser apropiado para nuevos enfoques. Más de la mitad de las empresas han adoptado la IA en al menos una función empresarial, según 2.395 encuestados globales de The McKinsey & Company. El estado de la inteligencia artificial en 2020 Reporte. En el sector sanitario, farmacéutico y automovilístico, más del 40% de los encuestados informan de un aumento de las inversiones en IA durante la pandemia. Pero solo el 16% dijo que había tomado el aprendizaje profundo, la rama de la inteligencia artificial que usa redes neuronales para hacer predicciones, reconocer imágenes y sonidos, o responder preguntas y crear texto, más allá de la fase beta.
Las tecnologías actuales, desde los recursos en la nube hasta las tecnologías de formación más complejas, significan que es hora de trasladar la IA de autoaprendizaje de la experiencia a las realidades empresariales.
«Esta es una nueva generación de modelos, y para capacitarlos se necesita una nueva generación de hardware; los viejos kits de GPU ya no son suficientes», dice Andrulis. «En el frente de la industria, hemos recaudado una cantidad significativa de capital y nos hemos asociado con Oracle. Estamos construyendo una manera de traducir una gran misión en el estadio en una aplicación empresarial que crea valor».
Aaron Ricadella es director senior de comunicaciones en Oracle. Anteriormente fue periodista en Bloomberg News, Businessweek, Y InformationWeek, Su trabajo ha aparecido en los Los New York TimesY cableadoY centrarse, y el Süddeutsche Zeitung.
«Zombieaholic. Nerd general de Twitter. Analista. Gurú aficionado de la cultura pop. Fanático de la música».
