En la boda de Ann Johnson hace 20 años, su don para hablar fue evidente. En un apasionado brindis de 15 minutos, bromeó diciendo que había corrido hacia el altar, preguntó si en el programa del concierto debía decir «flautista» o «flautista» y admitió que estaba «jugando con el micrófono».
Apenas dos años después, Johnson (entonces de 30 años, entrenadora de voleibol y madre de un bebé) sufrió un derrame cerebral catastrófico que la paralizó y la dejó sin poder hablar.
Y el miércoles, los científicos informaron de avances significativos para ayudarla a ella y a otros pacientes a volver a hablar. En un hito en la neurociencia y la inteligencia artificial, los electrodos implantados decodificaron las señales cerebrales de Johnson mientras intentaba pronunciar oraciones en silencio. La tecnología convirtió sus señales cerebrales en lenguaje escrito y vocal, y permitió que el avatar en una pantalla de computadora pronunciara palabras y mostrara sonrisas, labios fruncidos y otras expresiones.
buscar, Publicado en la revista Nature.Los expertos dicen que esta es la primera vez que las palabras habladas y las expresiones faciales se sintetizan directamente a partir de señales cerebrales. La señora Johnson eligió el avatar, una cara similar a la suya, y los investigadores utilizaron el brindis de su boda para desarrollar la voz del avatar.
«Simplemente estamos tratando de restaurar la identidad de las personas», afirmó el líder del equipo, el Dr. Edward Chang, jefe de neurocirugía de la Universidad de California en San Francisco.
“Me hizo sentir como una persona completa otra vez”, me escribió la señora Johnson, que ahora tiene 48 años.
El objetivo es ayudar a las personas que no pueden hablar debido a accidentes cerebrovasculares o afecciones como parálisis cerebral y esclerosis lateral amiotrófica. Para que el implante de Johnson funcione, debe estar conectado por cable desde su cabeza a una computadora, pero su equipo y otros están desarrollando versiones inalámbricas. Los investigadores esperan que con el tiempo las personas que han perdido la capacidad de hablar puedan hablar en tiempo real a través de imágenes computarizadas de sí mismas que transmitan entonación, inflexión y emociones como alegría e ira.
«Lo que es muy emocionante es que tan solo desde la superficie del cerebro, los investigadores pudieron obtener muy buena información sobre estas diferentes características de comunicación», dijo el Dr. Parag Patel, neurocirujano e ingeniero biomédico de la Universidad de Michigan, que participó en el estudio. en el estudio. Nature solicitó una revisión del estudio antes de su publicación.
La experiencia de la Sra. Johnson refleja el rápido progreso en este campo. Hace apenas dos años, el mismo equipo publicó investigación Un hombre paralítico, apodado Pancho, utilizó un implante y un algoritmo más simple para producir 50 palabras clave como «hola» y «hambriento» que se mostraban como texto en una computadora después de que intentaba pronunciarlas.
El implante de la Sra. Johnson contiene casi el doble de electrodos, lo que aumenta su capacidad para detectar señales cerebrales de procesos sensoriales y motores relacionados con el habla, asociados con la boca, los labios, la mandíbula, la lengua y la laringe. Los investigadores entrenaron a la sofisticada IA para que reconociera no palabras individuales, sino fonemas, o fonemas como «ow» y «ah» que eventualmente podrían formar cualquier palabra.
«Es como un alfabeto de sonidos del habla», dijo David Moses, director del proyecto.
Mientras que el sistema de Pancho producía de 15 a 18 palabras por minuto, la señora Johnson promedió 78 palabras utilizando un vocabulario mucho más amplio. El ritmo medio de conversación es de unas 160 palabras por minuto.
Cuando los investigadores empezaron a trabajar con ella, no esperaban experimentar un avatar o una voz. Pero los resultados prometedores fueron «una gran luz verde para decir, está bien, intentemos lo más difícil, simplemente intentémoslo», dijo el Dr. Moses.
Programaron un algoritmo para decodificar la actividad cerebral en formas de ondas de audio y producir voz en audio, dijo Kylo Littlejohn, estudiante de posgrado de la Universidad de California, Berkeley, y uno de los autores principales del estudio, junto con el Dr. Moses, Sean Metzger y Alex. Silva. y Margaret Seton.
«El habla contiene mucha información que no se recuerda bien solo con el texto, como la entonación, el tono y la articulación», dijo Littlejohn.
Trabajando con una empresa que produce animaciones faciales, los investigadores programaron el avatar con datos sobre los movimientos musculares. Luego, la Sra. Johnson intentó hacer expresiones faciales de felicidad, tristeza y sorpresa, cada una con intensidad alta, media y baja. También probé diferentes movimientos de mandíbula, lengua y labios. Sus señales cerebrales decodificadas se transmitieron al rostro del avatar.
A través del avatar, dijo: «Creo que eres increíble» y «¿Qué opinas de mi voz artificial?».
«Escuchar una voz similar a la tuya es emocional», dijo Johnson a los investigadores.
Entonces ella y su marido, William, el trabajador postal Comprometido en la conversación. «No me hagas reír», dijo a través del avatar. Le preguntó cómo se sentía acerca de las posibilidades de los Toronto Blue Jays. Ella respondió: «Todo es posible».
El campo avanza tan rápido que los expertos creen que versiones inalámbricas aprobadas a nivel federal podrían estar disponibles en la próxima década. Diferentes métodos pueden ser ideales para algunos pacientes.
miércoles, La revista Nature también publicó un estudio realizado por otro equipo. Se trata de electrodos implantados más profundamente en el cerebro, que detectan la actividad de neuronas individuales, dijo el Dr. Jimmy Henderson, profesor de neurocirugía en la Universidad de Stanford y líder del equipo, motivado por la experiencia de su infancia de ver a su padre perder la capacidad. hablar después de un accidente. Su método puede ser más preciso, pero menos estable, afirmó, porque los patrones de activación de neuronas específicas pueden cambiar.
Su sistema decodificó frases a 62 palabras por minuto, que el participante Pat Bennett, de 68 años, que padece ELA, intentó pronunciar con un amplio vocabulario. Este estudio no incluyó decodificación de glifos ni de audio.
Ambos estudios utilizaron modelos de lenguaje predictivo para ayudar a adivinar palabras en oraciones. Los sistemas no sólo relacionan palabras, sino que «detectan nuevos patrones de lenguaje» porque reconocen mejor la actividad neuronal de los participantes, dijo Melanie Fred Okin, experta en tecnología de asistencia del habla y el lenguaje en la Universidad de Ciencias y Salud de Oregón. Consultado sobre el estudio de Stanford.
Ninguno de los enfoques fue del todo exacto. Al utilizar grandes grupos de vocabularios, decodificaban incorrectamente palabras individuales aproximadamente una cuarta parte de las veces.
Por ejemplo, cuando la señora Johnson intentó decir: «Es posible que los hayamos perdido», el sistema decodificó: «Es posible que hayamos perdido ese nombre». Pero en aproximadamente la mitad de sus oraciones, pudo descifrar correctamente cada palabra.
Los investigadores descubrieron que las personas en la plataforma de crowdsourcing podían interpretar correctamente la expresión facial del avatar la mayor parte del tiempo. Interpretar lo que decía la voz fue más difícil, por lo que el equipo está desarrollando un algoritmo de predicción para mejorarlo. «Nuestro avatar parlante está apenas en el punto de partida», dijo el Dr. Chang.
Los expertos destacan que estos sistemas no leen la mente ni los pensamientos de las personas. En cambio, dijo Patel, son como jugadores de béisbol que «no leen la mente del lanzador, sino que interpretan lo que ven hacer» para predecir bandejas.
Sin embargo, la lectura de la mente puede llegar a ser posible, lo que plantea cuestiones éticas y de privacidad, dice el Dr. Fred O’Kane.
La señora Johnson llamó al Dr. Chang en 2021, el día después de que su esposo le mostrara mi artículo sobre Pancho, el hombre paralítico que había sido ayudado por investigadores. El Dr. Chang dijo que al principio la desanimó porque vive en Saskatchewan, Canadá, lejos de su laboratorio en San Francisco, pero «ella fue persistente».
Johnson, de 48 años, ha hecho arreglos para trabajar a tiempo parcial. «Ann siempre me ha apoyado para hacer lo que quería», dijo, incluso dirigiendo su sindicato postal local. «Así que pensé que era importante poder apoyarla con esto».
Empecé a participar el pasado mes de septiembre. Se necesitan tres días para viajar a California en un camión lleno de equipo, incluido un ascensor para trasladarla entre una silla de ruedas y una cama. Allí alquilan un apartamento, donde los investigadores realizan sus experimentos para ponérselo más fácil. Los Johnson, que están recaudando dinero en línea y en su comunidad para pagar los viajes y el alquiler del estudio de varios años, pasan semanas en California y regresan a casa entre las fases de la investigación.
«Si hubiera podido hacerlo 10 horas al día, siete días a la semana, lo habría hecho», dijo Johnson.
El diseño siempre ha sido parte de su naturaleza. Cuando comenzaron a salir, la señora Johnson le dio al señor Johnson 18 meses para proponerle matrimonio, lo que él dijo que hizo «en el día señalado del decimoctavo mes», después de que ella «ya había ido y elegido su anillo de compromiso».
La Sra. Johnson se acercó a mí a través de correos electrónicos configurados con un sistema de asistencia más rudimentario que usa en casa. Lleva gafas de espejo que apuntan a letras y palabras en la pantalla de una computadora.
Es lento y le permite generar sólo 14 palabras por minuto. Pero es más rápido que la única otra forma en que puede comunicarse en casa: usando un tablero de mensajes de plástico, que Johnson describió como «simplemente intenta mostrarme el mensaje que estás tratando de ver y luego lo resolveré». Qué estás tratando de decir.»
La incapacidad de mantener conversaciones fluidas los frustra. Cuando se discutían temas detallados, el Sr. Johnson a veces decía algo y recibía su respuesta por correo electrónico al día siguiente.
«Anne siempre ha sido una gran conversadora en la vida, una persona sociable y extrovertida a la que le encanta hablar, y eso no me gusta», dijo, pero su derrame cerebral «hizo que los papeles se invirtieran, y ahora se supone que debo ser el que habla.»
La Sra. Johnson estaba enseñando matemáticas, salud y educación física en la escuela secundaria, y entrenando voleibol y baloncesto cuando sufrió un derrame cerebral mientras calentaba para jugar voleibol. Johnson dijo que después de pasar un año en un hospital y un centro de rehabilitación, regresó a casa y encontró a su hijastro de 10 años y a su hija de 23 meses, que ahora eran mayores y no recordaban haber escuchado hablar a su madre.
Johnson escribió: «No poder abrazar y besar a mis hijos me dolió terriblemente, pero esa era mi realidad». «El verdadero clavo en el ataúd fue que me dijeron que no podía tener más hijos».
Durante cinco años después de su derrame cerebral, estuvo aterrorizada. «Pensé que iba a morir en cualquier momento», escribió. «La parte de mi cerebro que no se congeló sabía que necesitaba ayuda, pero ¿cómo puedo comunicarme?».
Poco a poco, su persistencia reapareció. “Mis músculos faciales no funcionaban en absoluto”, escribió al principio, pero después de unos cinco años podía sonreír a voluntad.
Había sido alimentada completamente por sonda durante una década, pero decidió que quería probar la comida sólida. Se dijo a sí misma: «Si muero, que así sea». «Empecé a chupar chocolate». Tomó terapia para tragar y ahora come alimentos picados o blandos. «A mi hija y a mí nos encantan los cupcakes», escribió.
Cuando la Sra. Johnson se enteró de que se necesitaban consejeros de trauma después de un accidente fatal de autobús en Saskatchewan en 2018, decidió tomar un curso de asesoramiento universitario en línea.
«Tenía conocimientos mínimos de informática y, siendo estudiante de matemáticas y ciencias, la idea de escribir trabajos me asustaba», escribió en un informe de clase. «Al mismo tiempo, mi hija estaba en noveno grado y le diagnosticaron una discapacidad de procesamiento. Decidí vencer mis miedos y mostrarle que las discapacidades no tienen por qué detenernos ni frenarnos.
Ayudar a los supervivientes de traumas sigue siendo su objetivo. «Mi objetivo al llegar a la luna era convertirme en consejera y utilizar esta tecnología para hablar con mis clientes», le dijo al equipo del Dr. Chang.
Al principio, cuando empezó a expresar sus sentimientos con el avatar, escribió: «Me sentí tonta, pero me gusta sentir que tengo una cara expresiva nuevamente», y agregó que los ejercicios también le permitieron mover el lado izquierdo de la frente. hacia atrás. la primera vez.
También gané algo más. «Después de mi derrame cerebral, sentí mucho dolor cuando lo perdí todo», escribió. “Me dije a mí mismo que nunca más volvería a pasar por esta decepción”.
«Ahora siento que tengo un trabajo otra vez», escribió.
Además, la tecnología le hace imaginarse a sí mismo en Star Wars: «Antes tenía el cerebro aturdido».
«Zombieaholic. Nerd general de Twitter. Analista. Gurú aficionado de la cultura pop. Fanático de la música».
