Google está entrenando a sus robots utilizando Gemini AI para que puedan mejorar sus habilidades para navegar y completar tareas. El equipo de robótica de DeepMind explicó en: Nuevo trabajo de investigación Cómo la larga ventana de contexto de Gemini 1.5 Pro, que limita la cantidad de información que puede procesar un modelo de IA, podría permitir a los usuarios interactuar más fácilmente con los robots RT-2 utilizando instrucciones en lenguaje natural.

Esta tecnología funciona filmando un recorrido en video de un área específica, como una casa o una oficina, donde los investigadores usan el software Gemini 1.5 Pro para hacer que el robot «mire» el video y aprenda sobre el entorno. Luego, el robot puede ejecutar comandos basados ​​en lo que ha observado utilizando resultados verbales y/o visuales, como dirigir a los usuarios a una toma de corriente después de mostrarles un teléfono y preguntar «¿Dónde puedo cargarlo?». DeepMind dice que su robot impulsado por Gemini logró una tasa de éxito del 90 por ciento en más de 50 instrucciones de usuario dadas en un área operativa de más de 9,000 pies cuadrados.

Los investigadores también encontraron «evidencia preliminar» de que el software Gemini 1.5 Pro permitía a los robots planificar cómo llevar a cabo instrucciones más allá de una simple guía. Por ejemplo, cuando un usuario con muchas latas de Coca-Cola en su escritorio le pregunta al robot si su bebida favorita está disponible, el equipo dijo que Gemini «sabe que el robot debe navegar hasta el refrigerador, verificar si hay latas de Coca-Cola y luego regrese con el usuario para informarle «. «Como resultado». DeepMind dice que planea investigar más a fondo estos hallazgos.

Las demostraciones en vídeo proporcionadas por Google son impresionantes, aunque los clips claros después de que el robot reconoce cada solicitud ocultan que se necesitan entre 10 y 30 segundos para procesar esas instrucciones, según el artículo de investigación. Puede que pase un tiempo antes de que compartamos nuestros hogares con robots de mapeo ambiental más avanzados, pero al menos estos robots pueden encontrar nuestras llaves o billeteras perdidas.