Navegación para invidentes, “traductor” de diálogos con sordos y sustitutos de la vista…
Según la OMS, hay más de 2 mil millones de personas con discapacidad visual en el mundo. La organización estima que más de 900 millones de personas tendrán problemas de audición para 2050. Los dispositivos inteligentes empoderan a estas personas y las ayudan a sobrevivir sin ayuda externa. Uno de los fabricantes de tales dispositivos es el laboratorio ruso "Sensor-Tech". Ella le contó a Haytek sobre los dispositivos, sus diferencias con sus contrapartes extranjeras y cómo los implantes pueden restaurar la visión incluso a pacientes ciegos.
Denis Kuleshov – Director del laboratorio Sensor-Tech.
Alexander Popov es el diseñador jefe de Sensor-Tech.
Andrey Demchinsky – Jefe de Proyectos Médicos “Sensor-Tech”.
Neurotecnologías que eliminan restricciones
Un hombre camina por la calle. En una mano tiene un bastón blanco, con el que palpa el camino. En el otro, hay un pequeño objeto negro que parece una cámara de video. La persona lo dirige primero frente a él, luego a los lados. Los transeúntes no saben que en este momento en el auricular escucha las indicaciones: “Coche, distancia – 5 metros. Hombre, distancia – 3 metros. “
Otra persona llega al MFC. “Hola”, dice el operador con una sonrisa, y esta palabra aparece en la pantalla frente al visitante. El hombre le devuelve la sonrisa y comienza a escribir el problema en el teclado, que el operador leerá en el monitor de la computadora. Un intermediario entre las personas con problemas de audición y el mundo exterior es un pequeño dispositivo que convierte el habla en texto.
Ambos dispositivos son desarrollados y fabricados por Sensor-Tech. Su director, Denis Kuleshov, comenzó a cooperar con organizaciones para personas discapacitadas cuando aún estaba en el instituto: ayudó a realizar investigaciones. Poco a poco, Denis se dio cuenta de que quería trabajar en esta dirección y desarrollar para las personas con discapacidad. Por lo tanto, cuando en 2014 le ofrecieron unirse a la investigación científica de la nueva fundación So-Unification, aceptó de inmediato.
La Fundación So-Unification para el Apoyo de Sordociegos se estableció en abril de 2014. Se ocupa de la socialización de los sordociegos: abre centros regionales de apoyo, crea oportunidades de empleo, ocio y autorrealización creativa; brinda asistencia legal, psicológica y específica.
El fondo ha acumulado varios proyectos, entre ellos jóvenes y científicos, relacionados con los temas de sordoceguera, en los que participó Denis. “En algún momento, se decidió que sería mucho más efectivo y más correcto desarrollar esto en el formato de un laboratorio separado que se ocupa de estos temas de manera especializada”, recuerda Kuleshov.
Los matices de los electrodomésticos.
En 2017, apareció el laboratorio Sensor-Tech, cuyo fundador fue la Fundación So-Unity. Inmediatamente se comenzó a trabajar en la creación de aparatos para sordos y ciegos. Para ello se destinó una subvención de la Iniciativa Científica y Tecnológica en el marco de la hoja de ruta de Neuronet.
La condición para recibir la subvención era la cofinanciación del proyecto: el 70 % lo asignó NTI, el resto del dinero lo tuvieron que encontrar los propios desarrolladores. El 30% faltante fue proporcionado por la Fundación So-Unification.
El trabajo del laboratorio tuvo que construirse desde cero: se formó una oficina de diseño y una producción piloto, donde se ensamblaron prototipos de dispositivos. El primer problema que enfrentan los desarrolladores es la falta de experiencia en la creación de electrodomésticos. Su experiencia previa en instrumentación estaba relacionada principalmente con la industria de defensa.
El primer prototipo del dispositivo para ciegos resultó ser demasiado voluminoso e incómodo de usar. Habiendo recibido comentarios de los usuarios, los desarrolladores lo han transformado seriamente. Era necesario hacer que el dispositivo funcionara sin interrupciones, fuera conveniente y comprensible de usar.
Ahora el laboratorio ha desarrollado un dispositivo para ciegos y deficientes visuales: "Robin" y un dispositivo para personas con discapacidad auditiva: "Charlie".
“El mercado de dispositivos para personas con discapacidad no es muy grande, toda la producción es a pequeña escala y costosa”, dice Denis. Esta es la razón del precio bastante alto de los dispositivos: "Robin" cuesta 150 mil rublos, "Charlie" – 195 mil rublos. Por lo tanto, los fabricantes están negociando con el gobierno para incluir sus inventos en la lista de medios de rehabilitación técnica; en este caso, el gobierno compensará los costos de compra.
Dime que ves
Exteriormente, "Robin" se parece a una cámara portátil. Los sensores escanean objetos y la inteligencia artificial determina lo que está frente al usuario: un automóvil, una mesa, una computadora, otra persona. Hay más de 50 objetos en la memoria del dispositivo. Si subes fotos allí, reconoce a la persona y dice su nombre. Para usar "Robin" en la oscuridad, se le incorporó una linterna. En este caso, el dispositivo no solo nombra el objeto, sino que también estima la distancia hasta él.
El primer lanzamiento de “Robin” no tuvo éxito. Para que el dispositivo detectara un objeto, era necesario apuntar el dispositivo, presionar el botón y esperar al menos 2 segundos. Pero resultó que esto era un inconveniente para los usuarios: inmediatamente después de presionar el botón, comenzaron a mover el dispositivo de un lado a otro. Debido a esto, la información expresada por “Robin” resultó ser irrelevante: estaba describiendo objetos que reconoció antes de ser movido.
“Sabíamos cómo ayudar al dispositivo y hacia dónde dirigirlo, y la gente no tenía esa experiencia. Por eso les parecía que el aparato no funcionaba bien”, explica Alexander. Entonces los desarrolladores decidieron cambiar el principio de trabajo. El tiempo de retroalimentación del dispositivo se redujo a un segundo, mientras que el "Robin" solo funcionó cuando se presionó el botón. Esta opción resultó ser más clara y fácil para los usuarios.
“No hay competidores directos, es decir, dispositivos con las mismas funciones, en el mercado. Pero hay análogos, por ejemplo, OrCam ”, dice Alexander.
OrCam MyEye y OrCam MyReader son dispositivos portátiles de visión artificial producidos por la empresa israelí del mismo nombre. Son pequeñas cámaras inalámbricas que se pueden acoplar a las sienes. El primer dispositivo lee texto impreso y digital, códigos de barras de mercancías, reconoce rostros y lee la información recibida. El segundo se usa solo para leer textos. Los gadgets admiten 17 idiomas y no requieren conexión a Internet.
________________________________________
La voz se convierte en texto
Charlie es para personas con discapacidad auditiva. En su desarrollo participaron personas con experiencia en la enseñanza de personas con discapacidad auditiva. Por lo tanto, los desarrolladores fueron conscientes de las dificultades que surgen en el proceso de comunicación y las solicitudes de ambas partes.
El dispositivo capta el habla a una distancia de 2 m y la muestra como texto en la pantalla. El dispositivo también puede ser utilizado por personas sordociegas; para ello, se conecta una pantalla Braille al "Charlie". Le permite leer información con los dedos e ingresar una respuesta.
Braille fue desarrollado en 1824. Es un sistema de puntos convexos y huecos entre ellos. Cada carácter se codifica mediante un enrejado de 3 × 2. La combinación de puntos dentro de cada celda corresponde a una letra o signo de puntuación. Si el texto cambia la escritura, por ejemplo, del latín al cirílico, esto también se indica mediante un símbolo especial.
Los desarrolladores dicen que tampoco hay análogos de "Charlie" en el mercado. Numerosos programas que traducen voz a texto están diseñados principalmente para la interacción humano-computadora, y no para que dos personas se comuniquen entre sí.
La primera máquina capaz de reconocer la voz apareció en la década de 1950 en Bell Labs. El dispositivo determinó números del cero al nueve. Al mismo tiempo, la máquina entendió mucho mejor al inventor: cuando habló, la precisión de reproducción fue de alrededor del 90%. El dispositivo reconoció correctamente el habla de otras personas solo en el 70-80% de los casos.
Hasta los años 90, el reconocimiento de voz se basaba en plantillas: las ondas de sonido se traducían en un conjunto de números y el resultado se mostraba cuando el habla coincidía con la muestra. Por lo tanto, para la correcta interpretación de las señales de voz, se requería eliminar el ruido de fondo, hablar despacio y con claridad.
Dragon's NaturallySpeaking fue el primer reconocedor de voz que no requería pausas entre palabras. Apareció en 1997 y todavía está en uso hoy en día.
El aprendizaje automático y las tecnologías de inteligencia artificial han mejorado significativamente el sistema de reconocimiento de voz y han permitido adaptar los algoritmos a la forma individual de comunicación de cada persona. El resultado fue la aparición de asistentes de voz: Google Assistant, Siri de Apple, Alexa de Amazon, “Alice” de Yandex. Además, existen aplicaciones especiales, por ejemplo, ListNote, SpeechNotes, para reconocimiento de voz, traducción de una voz en un mensaje de texto. Algunas aplicaciones, como Speechlogger, pueden incluso realizar la traducción simultánea de un idioma a otro.
Con la ayuda de “Charlie”, los interlocutores podrán comunicarse entre sí sin recurrir a la ayuda de un intermediario. Además, el dispositivo se puede utilizar para la comunicación remota, por ejemplo, para conferencias en universidades o reuniones. Es suficiente que el presentador coloque a "Charlie" junto a él y los oyentes, para conectarse al programa a través del enlace. El discurso decodificado se mostrará en la pantalla de un teléfono inteligente o computadora en tiempo real.
Ver el mundo de nuevo
También “Sensor-Tech” participa en investigaciones científicas relacionadas con el uso de neurotecnologías para el retorno de la visión.
Todo comenzó en 2016 en una conferencia internacional en los Estados Unidos. Allí, representantes de la Fundación So-Unity se reunieron con una empresa estadounidense que se ocupa de la visión biónica. Acordaron realizar un experimento en Rusia para implantar chips biónicos en personas ciegas.
“Es posible que el dispositivo no sea aplicable a todas las personas ciegas, es un grupo bastante reducido de enfermedades, principalmente retinosis pigmentaria. La peculiaridad es que con él muere solo una capa de células, que transforma la luz en una señal eléctrica. El resto de las células siguen vivas”, explica Denis.
La retinitis pigmentosa es un trastorno hereditario asociado con el cromosoma X. Con esta patología, las células de la retina se van destruyendo gradualmente, recogiendo la imagen y transmitiéndola a lo largo del nervio óptico hasta el cerebro. La enfermedad comienza con la pérdida de la visión lateral y nocturna y finalmente conduce a la ceguera total. No existen medidas preventivas efectivas contra la retinitis pigmentosa, así como métodos de tratamiento. La implantación de microchips aún está en desarrollo, y los médicos también sugieren que la terapia génica y la terapia con células madre pueden ser un gran avance.
________________________________________
Como resultado, en las bases de datos de las fundaciones So-Unificación y Arte, Ciencia y Deporte, encontraron a dos personas con el diagnóstico correcto, que no presentaban patologías concomitantes. En 2017, los implantes se instalaron en Grigory Ulyanov y Antonina Zakharchenko. Los fondos para la operación fueron asignados por la Fundación Alisher Usmanov.
________________________________________
La Fundación de Arte, Ciencia y Deporte de Alisher Usmanov fue fundada en 2006. Financia proyectos educativos y científicos (coopera con MGIMO, MISiS), apoya museos y teatros (Sovremennik, Galería Tretyakov, conjunto de Igor Moiseev y otros). La fundación también promueve estilos de vida saludables y organiza concursos, incluso para personas con discapacidad.
________________________________________
Durante la operación, se coloca un implante con electrodos en la retina del paciente. Se asocia a unas gafas especiales con cámara integrada. La información de la cámara se transmite a una microcomputadora, que procesa la imagen y envía señales al implante. Los impulsos eléctricos se transmiten a lo largo del nervio óptico al cerebro, donde se forma una imagen.
Hay 60 electrodos en el implante, que se pueden comparar con una imagen de 60 píxeles, por la cantidad de puntos que estimula el implante. Con su ayuda, puede obtener una imagen solo de objetos lo suficientemente grandes: ventanas, puertas, mesas, automóviles. Los objetos más pequeños pueden caerse de la "matriz" formada por los electrodos, o los datos son insuficientes para identificarlos.
Dado que el paciente no tiene células responsables de la reproducción del color, la imagen es en blanco y negro. Pero en comparación con la ceguera total, incluso una visión tan limitada desde el punto de vista de una persona sana amplía significativamente las capacidades de los pacientes. Pueden orientarse en el espacio incluso en condiciones desconocidas sin ayuda externa o dispositivos adicionales y volverse bastante independientes.
Sensor-Tech esperaba que la operación permitiera registrar implantes en Rusia y ponerlos a disposición en el marco de la atención médica de alta tecnología. Pero surgió un problema: el Ministerio de Salud consideró que dos operaciones no eran suficientes para sacar una conclusión sobre la seguridad de los implantes. Los estadounidenses, a su vez, se negaron a realizar más experimentos, ya que no había garantía de que este método finalmente fuera aprobado.
“En términos de implantes oculares, la historia ha terminado. Pero esto es incluso bueno, porque tiene una continuación en forma de implantes corticales, que se colocan en el cerebro. Aquí es donde tiene lugar el procesamiento visual de la información. Los chips se pueden usar para cualquier tipo de ceguera, a diferencia del ojo. Esta es una solución más de alta tecnología ”, dice Denis.
Ya en 2021, la empresa presentó el primer desarrollo en una nueva dirección. Este es el primer neuroimplante para el cerebro ELVIS en Rusia, ayuda a restaurar la visión a personas ciegas y sordociegas. El dispositivo tiene un implante que se instala en el cerebro, un aro con dos cámaras para llevar en la cabeza -hacen la función de los ojos- y una microcomputadora que analiza la imagen y la transmite al cerebro. La tecnología permite distinguir las siluetas de objetos, personas y comprender la ubicación de los objetos.
Mientras se prueba el sistema en roedores, seguirán las pruebas en monos. En 2024, 10 voluntarios ciegos planean instalar un implante cortical.
Los implantes visuales corticales se colocan en la corteza cerebral. Estimulan las áreas visuales, dando como resultado sensaciones visuales. Según los expertos, esto permitirá cambiar el brillo de las imágenes y brindar reproducción cromática, lo que es imposible cuando se usan implantes biónicos. Las primeras operaciones para la implantación de implantes corticales se realizaron allá por los años 70 del siglo pasado. Y en 2018, la empresa estadounidense Second Sight instaló públicamente modernos neuroimplantes para los primeros voluntarios ciegos. La tecnología está en fase de ensayos clínicos.
Investigación científica y mercados de ultramar
Hay otras novedades entre los casos del laboratorio. Por ejemplo, se desarrolló una aplicación gratuita para teléfonos móviles junto con un operador celular para ayudar a las personas ciegas a determinar la denominación de los billetes. Está disponible en iOS y Android.
Para averiguar la denominación de un billete, simplemente apunte la cámara de su teléfono inteligente hacia él. La IA identificará el billete y le dará un nombre. Y si apunta la cámara a varios billetes al mismo tiempo, el dispositivo calculará inmediatamente su importe.
Si la aplicación es utilizada por una persona con discapacidad visual y auditiva que no puede escuchar la actuación de voz, la denominación del billete puede reconocerse por vibración; para diferentes denominaciones hay modos propios.
Si el teléfono no puede reconocer la factura, se puede fotografiar y agregar a la base de datos a través de la función "Ayuda para desarrolladores". Por lo general, la necesidad de esto surge cuando se emiten notas conmemorativas nuevas o raras.
Además de la producción de dispositivos, Sensor-Tech se dedica a la investigación científica en el campo de la sordoceguera. “Queremos dejar claro a las personas sanas cómo perciben el mundo en general las personas con problemas de visión o audición”, dice Andrey.
Así, el laboratorio creó simuladores de discapacidad visual: el simulador See My World VR y su versión móvil SMW Pro. El “ruido” se superpone a la imagen en vivo oa una imagen estática. Como resultado, la imagen se distorsiona según el defecto visual específico. Por ejemplo, se vuelve borrosa o aparece un punto negro en el centro de la imagen.
“Simulamos los síntomas de cómo ve una persona con varios impedimentos visuales. Literalmente: cómo mirar a través de los ojos de una persona que tiene cataratas, miopía, astigmatismo, glaucoma”, dice Andrey. Además, utilizando el simulador, puede rastrear la dinámica de la enfermedad a lo largo del tiempo. Esto ayuda a los médicos y estudiantes a estudiar mejor el cuadro clínico y a los familiares cercanos del paciente, a mirar literalmente el mundo a través de sus ojos.
“Para que la imagen sea lo más fiable posible, se utiliza el cuadro clínico de la enfermedad para crearla. Además, aclaramos el resultado con el paciente, para que pueda confirmar si ve así, si su visión aún no está gravemente afectada ”, explica Andrey.
Ahora los desarrolladores quieren promocionar sus dispositivos en los mercados europeo y estadounidense. Está previsto poner los gadgets en Amazon y, además, llegar a organismos gubernamentales y organismos públicos que se ocupan de la problemática de las personas con discapacidad. Denis está seguro de que el mercado de los desarrollos aplicados seguirá creciendo. Y el director del laboratorio Sensor-Tech ve su misión en facilitar la vida de las personas con discapacidad gracias a la tecnología.
