Navigation pour les aveugles, « traducteur » pour les dialogues avec les sourds et substituts oculaires…
Selon l'OMS, il y a plus de 2 milliards de personnes ayant une déficience visuelle dans le monde. L'organisation estime que plus de 900 millions de personnes auront des problèmes d'audition d'ici 2050. Les gadgets intelligents renforcent ces personnes et les aident à se débrouiller sans aide extérieure. L'un des fabricants de tels appareils est le laboratoire russe « Sensor-Tech ». Elle a parlé à Haytek des appareils, de leurs différences avec leurs homologues étrangers et de la façon dont les implants peuvent restaurer la vision même chez les patients aveugles.
Denis Kuleshov – Directeur du laboratoire Sensor-Tech.
Alexander Popov est le concepteur en chef de Sensor-Tech.
Andrey Demchinsky – Responsable des projets médicaux « Sensor-Tech ».
Des neurotechnologies qui suppriment les restrictions
Un homme marche dans la rue. Dans une main, il tient une canne blanche avec laquelle il tâte le chemin. Dans l'autre, il y a un petit objet noir qui ressemble à une caméra vidéo. La personne le dirige d'abord devant lui, puis sur les côtés. Les passants ne savent pas qu'à ce moment-là, dans l'écouteur, il entend des messages: «Voiture, distance - 5 mètres. Homme, distance – 3 mètres. "
Une autre personne vient au MFC. "Bonjour", dit l'opérateur avec un sourire, et ce mot apparaît sur l'écran face au visiteur. L'homme sourit en retour et commence à taper le problème sur le clavier, que l'opérateur lira sur l'écran de l'ordinateur. Un intermédiaire entre les malentendants et le monde extérieur est un petit appareil qui convertit la parole en texte.
Les deux appareils sont développés et fabriqués par Sensor-Tech. Son directeur Denis Kuleshov a commencé à coopérer avec des organisations de personnes handicapées alors qu'il était encore à l'institut : il a aidé à mener des recherches. Petit à petit Denis s'est rendu compte qu'il voulait travailler dans ce sens et se développer pour les personnes handicapées. Par conséquent, lorsqu'en 2014 on lui a proposé de rejoindre la recherche scientifique de la nouvelle fondation So-Unification, il a immédiatement accepté.
La Fondation So-Unification pour le soutien des sourds-aveugles a été créée en avril 2014. S'occupe de la socialisation des sourds-aveugles : ouvre des centres de soutien régionaux, crée des opportunités d'emploi, de loisirs et d'épanouissement créatif ; fournit une assistance juridique, psychologique et ciblée.
Le fonds a accumulé divers projets, notamment jeunesse et scientifiques, liés aux problématiques de la surdicécité, auxquels Denis a participé. "À un moment donné, il a été décidé qu'il serait beaucoup plus efficace et plus correct de développer cela sous la forme d'un laboratoire séparé qui traite ces problèmes de manière spécialisée", se souvient Kuleshov.
Les nuances de l'électroménager
En 2017, le laboratoire Sensor-Tech est apparu, dont le fondateur était la Fondation So-Unity. Immédiatement, les travaux ont commencé sur la création de gadgets pour les malentendants et les aveugles. Une subvention de l'Initiative Scientifique et Technologique a été allouée à cet effet dans le cadre de la feuille de route Neuronet.
La condition pour recevoir la subvention était le cofinancement du projet : 70 % étaient alloués par NTI, le reste de l'argent devait être trouvé par les promoteurs eux-mêmes. Les 30% manquants ont été fournis par la Fondation So-Unification.
Le travail du laboratoire a dû être construit à partir de zéro: un bureau d'études et une production pilote ont été formés, où des prototypes d'appareils ont été assemblés. Le premier problème rencontré par les développeurs est le manque d'expérience dans la création d'appareils électroménagers. Leur expérience antérieure en instrumentation était principalement liée à l'industrie de la défense.
Le premier prototype de l'appareil pour aveugles s'est avéré trop encombrant et peu pratique à utiliser. Après avoir reçu les commentaires des utilisateurs, les développeurs l'ont sérieusement transformé. Il était nécessaire de faire fonctionner l'appareil sans interruption, d'être pratique et compréhensible à utiliser.
Aujourd'hui, le laboratoire a développé un appareil pour les aveugles et les malvoyants - "Robin" et un appareil pour les personnes malentendantes - "Charlie".
"Le marché des appareils pour personnes handicapées n'est pas très vaste, toute la production est artisanale et chère", explique Denis. C'est la raison du prix assez élevé des appareils: "Robin" coûte 150 195 roubles, "Charlie" - XNUMX XNUMX roubles. Les industriels négocient donc avec l'État pour inscrire leurs inventions dans la liste des moyens techniques de réhabilitation – dans ce cas, l'État compensera les frais d'achat.
Dis moi ce que tu vois
Extérieurement "Robin" ressemble à un appareil photo portable. Des capteurs scannent des objets et l'intelligence artificielle détermine ce qui se trouve devant l'utilisateur - une voiture, une table, un ordinateur, une autre personne. Il y a plus de 50 objets dans la mémoire de l'appareil. Si vous téléchargez des photos là-bas, il reconnaît la personne et dit son nom. Pour utiliser "Robin" dans l'obscurité, une lampe de poche y a été intégrée. Dans ce cas, le gadget non seulement nomme l'objet, mais estime également la distance qui le sépare.
La première version de "Robin" a échoué. Pour que l'appareil détecte un objet, il fallait pointer l'appareil, appuyer sur le bouton et attendre au moins 2 secondes. Mais il s'est avéré que cela n'était pas pratique pour les utilisateurs: immédiatement après avoir appuyé sur le bouton, ils ont commencé à conduire l'appareil d'un côté à l'autre. De ce fait, l'information exprimée par « Robin » s'est avérée non pertinente : il décrivait des objets qu'il reconnaissait avant d'être déplacé.
« Nous savions comment aider l'appareil et où le diriger, et les gens n'avaient pas cette expérience. À cause de cela, il leur semblait que l'appareil ne fonctionnait pas bien », explique Alexander. Ensuite, les développeurs ont décidé de changer le principe de travail. Le temps de retour de l'appareil a été réduit à une seconde, tandis que le "Robin" ne fonctionnait que lorsque le bouton était enfoncé. Cette option s'est avérée plus claire et plus simple pour les utilisateurs.
« Il n'y a pas de concurrents directs, c'est-à-dire d'appareils avec les mêmes fonctions, sur le marché. Mais il existe des analogues, par exemple, OrCam », explique Alexander.
OrCam MyEye et OrCam MyReader sont des appareils de vision artificielle portables produits par la société israélienne du même nom. Ce sont de petites caméras sans fil qui peuvent être attachées aux tempes. Le premier appareil lit les textes imprimés et numériques, les codes-barres des marchandises, reconnaît les visages et lit les informations reçues. Le second est utilisé uniquement pour la lecture de textes. Les gadgets prennent en charge 17 langues et ne nécessitent pas de connexion Internet.
________________________________________
La voix se transforme en texte
Charlie s'adresse aux personnes malentendantes. Des personnes ayant de l'expérience dans l'enseignement pour malentendants ont participé à son élaboration. Par conséquent, les développeurs étaient conscients des difficultés qui surviennent dans le processus de communication et des demandes des deux parties.
L'appareil capte la parole à une distance de 2 m et l'affiche sous forme de texte à l'écran. Le gadget peut également être utilisé par les sourds-aveugles – pour cela, un afficheur braille est connecté au « Charlie ». Il vous permet de lire des informations avec vos doigts et de saisir une réponse.
Le braille a été développé en 1824. C'est un système de points convexes et de vides entre eux. Chaque caractère est encodé à l'aide d'un treillis 3×2. La combinaison de points dans chaque cellule correspond à une lettre ou à un signe de ponctuation. Si le texte change l'écriture, par exemple du latin au cyrillique, cela est également indiqué par un symbole spécial.
Les développeurs disent qu'il n'y a pas non plus d'analogues de "Charlie" sur le marché. De nombreux programmes qui traduisent la parole en texte sont conçus principalement pour l'interaction homme-ordinateur, et non pour que deux personnes communiquent entre elles.
La première machine capable de reconnaître la voix est apparue dans les années 1950 aux Bell Labs. L'appareil a déterminé les nombres de zéro à neuf. Dans le même temps, la machine comprenait beaucoup mieux l'inventeur: lorsqu'il parlait, la précision de reproduction était d'environ 90%. L'appareil n'a reconnu correctement la parole d'autres personnes que dans 70 à 80% des cas.
Jusque dans les années 90, la reconnaissance vocale était basée sur des modèles : les ondes sonores étaient traduites en un ensemble de nombres et le résultat s'affichait lorsque la parole correspondait à l'échantillon. Par conséquent, pour une interprétation correcte des signaux vocaux, il était nécessaire d'éliminer le bruit de fond, de parler lentement et clairement.
Dragon's NaturallySpeaking a été le premier système de reconnaissance vocale qui ne nécessitait pas de pauses entre les mots. Il est apparu en 1997 et est toujours utilisé aujourd'hui.
Les technologies d'apprentissage automatique et d'intelligence artificielle ont considérablement amélioré le système de reconnaissance vocale et permis d'adapter les algorithmes au mode de communication individuel de chaque personne. Le résultat a été l'émergence d'assistants vocaux : Google Assistant, Siri d'Apple, Alexa d'Amazon, « Alice » de Yandex. De plus, il existe des applications spéciales, par exemple ListNote, SpeechNotes, pour la reconnaissance vocale, la traduction d'une voix dans un message texte. Certaines applications, telles que Speechlogger, peuvent même effectuer une traduction simultanée d'une langue à une autre.
Avec l'aide de « Charlie », les interlocuteurs pourront communiquer entre eux sans recourir à l'aide d'un intermédiaire. De plus, l'appareil peut être utilisé pour la communication à distance, par exemple, pour des conférences dans des universités ou la tenue de réunions. Il suffit au présentateur de mettre "Charlie" à côté de lui, et aux auditeurs - de se connecter au programme par le lien. La parole décodée sera affichée sur l'écran d'un smartphone ou d'un ordinateur en temps réel.
Revoir le monde
Aussi "Sensor-Tech" participe à la recherche scientifique liée à l'utilisation des neurotechnologies pour le retour de la vision.
Tout a commencé en 2016 lors d'une conférence internationale aux États-Unis. Là, des représentants de la Fondation So-Unity ont rencontré une société américaine spécialisée dans la vision bionique. Ils ont convenu de mener une expérience en Russie pour implanter des puces bioniques chez des personnes aveugles.
« Le dispositif n'est peut-être pas applicable à toutes les personnes aveugles, il s'agit d'un bassin assez restreint de maladies, principalement la rétinite pigmentaire. La particularité est qu'avec elle, une seule couche de cellules meurt, ce qui transforme la lumière en un signal électrique. Le reste des cellules reste en vie », explique Denis.
La rétinite pigmentaire est une maladie héréditaire associée au chromosome X. Avec cette pathologie, les cellules rétiniennes sont progressivement détruites, collectant l'image et la transmettant le long du nerf optique au cerveau. La maladie débute par une perte de la vision latérale et nocturne et finit par conduire à une cécité complète. Il n'existe pas de mesures préventives efficaces contre la rétinite pigmentaire, ni de méthodes de traitement. L'implantation de micropuces est encore en cours de développement, et les médecins suggèrent également que la thérapie génique et la thérapie par cellules souches pourraient être une percée.
________________________________________
En conséquence, dans les bases de données des fondations So-Unification et Art, Science and Sport, ils ont trouvé deux personnes avec le bon diagnostic, qui n'avaient pas de pathologies concomitantes. En 2017, les implants ont été installés chez Grigory Ulyanov et Antonina Zakharchenko. Les fonds pour l'opération ont été alloués par la Fondation Alisher Usmanov.
________________________________________
La Fondation pour l'art, la science et le sport d'Alisher Usmanov a été fondée en 2006. Finance des projets éducatifs et scientifiques (coopère avec MGIMO, MISiS), soutient des musées et des théâtres (Sovremennik, Galerie Tretiakov, l'ensemble d'Igor Moiseev et autres). La fondation promeut également des modes de vie sains et organise des concours, y compris pour les personnes handicapées.
________________________________________
Pendant l'opération, un implant avec des électrodes est placé sur la rétine du patient. Il est associé à des lunettes spéciales avec une caméra intégrée. Les informations de la caméra sont transmises à un micro-ordinateur, qui traite l'image et envoie des signaux à l'implant. Les impulsions électriques sont transmises le long du nerf optique au cerveau, où une image est formée.
Il y a 60 électrodes dans l'implant, ce qui peut être comparé à une image de 60 pixels - par le nombre de points que l'implant stimule. Avec son aide, vous pouvez obtenir une image uniquement d'objets suffisamment grands - fenêtres, portes, tables, voitures. Des objets plus petits peuvent tomber de la "matrice" formée par les électrodes, ou les données sont insuffisantes pour les identifier.
Comme le patient n'a pas de cellules responsables du rendu des couleurs, l'image est en noir et blanc. Mais par rapport à la cécité complète, même une vision aussi limitée du point de vue d'une personne en bonne santé élargit considérablement les capacités des patients. Ils peuvent s'orienter dans l'espace même dans des conditions inconnues sans aide extérieure ou dispositifs supplémentaires et devenir tout à fait indépendants.
Sensor-Tech espérait que l'opération permettrait d'enregistrer des implants en Russie et de les rendre disponibles dans le cadre de soins médicaux de haute technologie. Mais un problème se pose : le ministère de la Santé considère que deux opérations ne suffisent pas pour tirer une conclusion sur la sécurité des implants. Les Américains, à leur tour, ont refusé de mener d'autres expériences, car il n'y avait aucune garantie que cette méthode serait finalement approuvée.
« En matière d'implants oculaires, l'histoire est terminée. Mais c'est même bien, car cela a une suite sous la forme d'implants corticaux, qui sont placés dans le cerveau. C'est là que s'effectue le traitement visuel de l'information. Les puces peuvent être utilisées pour tout type de cécité, contrairement à l'œil. C'est une solution plus high-tech », précise Denis.
Déjà en 2021, la société a présenté le premier développement dans une nouvelle direction. Il s'agit du premier neuroimplant pour le cerveau ELVIS en Russie, il aide à restaurer la vision des personnes aveugles et sourdes-aveugles. L'appareil comporte un implant qui s'installe dans le cerveau, un cerceau avec deux caméras à porter sur la tête – elles reprennent la fonction des yeux et un micro-ordinateur qui analyse l'image et la transmet au cerveau. La technologie permet de distinguer les silhouettes des objets, des personnes et de comprendre la localisation des objets.
Pendant que le système est testé sur des rongeurs, des tests sur des singes suivront. En 2024, 10 volontaires aveugles envisagent de poser un implant cortical.
Les implants visuels corticaux sont placés dans le cortex cérébral. Ils stimulent les zones visuelles, entraînant des sensations visuelles. Selon les experts, cela permettra de modifier la luminosité des images et d'offrir un rendu des couleurs, ce qui est impossible avec des implants bioniques. Les premières opérations d'implantation d'implants corticaux ont été réalisées dans les années 70 du siècle dernier. Et en 2018, la société américaine Second Sight a installé publiquement des neuroimplants modernes pour les premiers volontaires aveugles. La technologie est en cours d'essais cliniques.
Recherche scientifique et marchés étrangers
Il y a d'autres développements parmi les cas du laboratoire. Par exemple, une application gratuite pour téléphones portables a été développée en collaboration avec un opérateur de téléphonie mobile pour aider les personnes aveugles à déterminer la dénomination des billets de banque. Il est disponible sur iOS et Android.
Pour connaître la dénomination d'un billet, il vous suffit de pointer l'appareil photo de votre smartphone vers celui-ci. L'IA identifiera le billet et le nommera. Et si vous pointez la caméra sur plusieurs factures en même temps, l'appareil calculera immédiatement leur montant.
Si l'application est utilisée par une personne malvoyante et malentendante qui ne peut pas entendre la voix, la dénomination de la facture peut être reconnue par vibration - pour différentes dénominations, il existe des modes propres.
Si le téléphone ne peut pas reconnaître la facture, elle peut être photographiée et ajoutée à la base de données via la fonction "Aide aux développeurs". Habituellement, cela est nécessaire lors de l'émission de billets commémoratifs nouveaux ou rares.
En plus de la production d'appareils, Sensor-Tech est engagé dans la recherche scientifique dans le domaine de la surdicécité. "Nous voulons faire comprendre aux personnes en bonne santé comment ceux qui ont une déficience visuelle ou auditive perçoivent le monde en général", explique Andrey.
Ainsi, le laboratoire a créé des simulateurs de déficiences visuelles : le simulateur See My World VR et sa version mobile SMW Pro. Le « bruit » est superposé à l'image en direct ou à une image statique. En conséquence, l'image est déformée en fonction du défaut visuel spécifique. Par exemple, elle devient floue ou un point noir apparaît au centre de l'image.
«Nous simulons les symptômes de la façon dont une personne ayant diverses déficiences visuelles voit. Littéralement: comment regarder à travers les yeux d'une personne atteinte de cataracte, de myopie, d'astigmatisme, de glaucome », explique Andrey. De plus, à l'aide du simulateur, vous pouvez suivre la dynamique de la maladie dans le temps. Cela aide les médecins et les étudiants à mieux étudier le tableau clinique et les proches parents du patient – à littéralement regarder le monde à travers ses yeux.
« Pour rendre l'image la plus fiable possible, le tableau clinique de la maladie est utilisé pour la créer. De plus, nous clarifions le résultat avec le patient, afin qu'il puisse confirmer s'il le voit, si sa vision n'est pas encore gravement altérée », explique Andrey.
Désormais, les développeurs souhaitent promouvoir leurs appareils sur les marchés européen et américain. Il est prévu de mettre les gadgets sur Amazon et, en plus, d'atteindre les organismes gouvernementaux et les organisations publiques traitant des problèmes des personnes handicapées. Denis est convaincu que le marché des développements appliqués ne fera que croître. Et le directeur du laboratoire Sensor-Tech voit sa mission dans le fait de faciliter la vie des personnes en situation de handicap grâce à la technologie.
