Meta tuvo un éxito significativo el año pasado con Segment Anything, un modelo de aprendizaje automático que puede reconocer e identificar de manera rápida y confiable casi cualquier cosa en una imagen. La segunda parte, que el CEO Mark Zuckerberg estrenó en el escenario el lunes en SIGGRAPH, lleva el modelo al espacio del video, mostrando cuán rápido se mueve el campo.

Segmentación es el término técnico que se utiliza cuando un modelo de visión mira una imagen y selecciona partes: «Este es un perro y este es un árbol detrás del perro», con suerte, no «Este es un árbol que crece a partir de un perro». Esto ha estado sucediendo durante décadas, pero recientemente se ha vuelto mucho mejor y más rápido, y Segment Anything representa un gran paso adelante.

Cualquier cosa, segunda parte (SA2) Se trata de una continuación natural, ya que se aplica de forma nativa al vídeo y no sólo a las imágenes fijas; Aunque, por supuesto, puedes ejecutar el primer modelo en cada fotograma de vídeo individualmente, no es el flujo de trabajo más eficiente.

«Los científicos usan estas cosas para estudiar los arrecifes de coral y los hábitats naturales y cosas así», dijo Zuckerberg en una conversación con el director ejecutivo de Nvidia, Jensen Huang, «pero poder hacerlo en video y capturarlo con precisión y decirle lo que quieres, sí lo es». muy genial.»

Por supuesto, el procesamiento de vídeo es más exigente desde el punto de vista computacional, lo que es un testimonio del progreso que se está logrando en toda la industria en cuanto a la eficiencia con la que SA2 puede operar sin causar el colapso del centro de datos. Por supuesto, este sigue siendo un modelo enorme y necesita un hardware potente para funcionar, pero una segmentación rápida y flexible era prácticamente imposible incluso hace un año.

El modelo, como el primero, será abierto y de uso gratuito, y no hay información sobre una versión alojada, algo que a veces ofrecen las empresas de inteligencia artificial. Pero existe una versión de prueba gratuita.

Naturalmente, un modelo de este tipo requiere una gran cantidad de datos para entrenar, y Meta también ha publicado una base de datos grande y destacada de 50 mil vídeos que creó específicamente para este propósito. En el artículo que describe SA2, también se utilizó para capacitación otra base de datos de más de 100.000 videos «disponibles internamente», y esta base de datos no se ha hecho pública; le pedí a Meta más información sobre qué es y por qué no se ha hecho pública. (Creemos que proviene de perfiles públicos en Instagram y Facebook).

Meta ha sido pionera en la IA “abierta” durante varios años, aunque en realidad (como señaló Zuckerberg en la conversación) lo ha estado haciendo durante mucho tiempo, utilizando herramientas como PyTorch. Pero más recientemente, LLaMa, Segment Anything y algunos otros modelos que he lanzado de forma gratuita se han convertido en una limitación relativamente accesible para el rendimiento de la IA en esos campos, aunque su «apertura» es un tema de debate.

Zuckerberg mencionó que la apertura de Meta no se debe exclusivamente a la bondad, pero eso no significa que sus intenciones no sean puras:

“Esto no es sólo una pieza de software que puedes construir; necesitas un ecosistema a su alrededor. Este software no funcionaría tan bien si no lo hiciéramos de código abierto, ¿no es así? porque somos personas altruistas, aunque creo que será bueno para el ecosistema; lo hacemos porque creemos que esto hará que lo que construyamos sea mejor”.

Aunque seguro que se le dará un buen uso. Visita GitHub aquí.