Navigasie vir blindes, "vertaler" vir dialoë met dowes en oogvervangers...
Volgens die WGO is daar meer as 2 miljard mense met gesiggestremdheid in die wêreld. Die organisasie skat dat meer as 900 miljoen mense gehoorprobleme sal hê teen 2050. Slim toestelle bemagtig hierdie mense en help hulle om sonder hulp van buite oor die weg te kom. Een van die vervaardigers van sulke toestelle is die Russiese laboratorium "Sensor-Tech". Sy het vir Haytek vertel van die toestelle, hul verskille van buitelandse eweknieë en hoe inplantings visie selfs vir blinde pasiënte kan herstel.
Denis Kuleshov – Direkteur van die Sensor-Tech-laboratorium.
Alexander Popov is die hoofontwerper van Sensor-Tech.
Andrey Demchinsky – Hoof van Mediese Projekte “Sensor-Tech”.
Neurotegnologieë wat beperkings verwyder
’n Man stap in die straat af. In die een hand het hy 'n wit kierie, waarmee hy die pad voel. In die ander een is daar 'n klein swart voorwerp wat soos 'n videokamera lyk. Die persoon rig dit eers voor hom, dan na die kante. Verbygangers weet nie dat hy op hierdie oomblik in die gehoorstuk opdragte hoor: “Motor, afstand – 5 meter. Man, afstand – 3 meter. “
'n Ander persoon kom na die MFC. "Hallo," sê die operateur met 'n glimlag, en hierdie woord verskyn op die skerm na die besoeker. Die man glimlag terug en begin die probleem op die sleutelbord tik, wat die operateur op die rekenaarmonitor sal lees. ’n Tussenganger tussen hardhorendes en die buitewêreld is ’n klein toestel wat spraak in teks omskakel.
Beide toestelle word ontwikkel en vervaardig deur Sensor-Tech. Die direkteur daarvan, Denis Kuleshov, het met organisasies vir gestremde mense begin saamwerk terwyl hy nog by die instituut was: hy het gehelp om navorsing te doen. Gaandeweg het Denis besef dat hy in hierdie rigting wil werk en vir mense met gestremdhede wil ontwikkel. Daarom, toe hy in 2014 aangebied is om by die wetenskaplike navorsing van die nuwe So-Uniformasie-stigting aan te sluit, het hy dadelik ingestem.
Die So-Eenwording-stigting vir Doof-Blind Ondersteuning is in April 2014 gestig. Behandel die sosialisering van dowes-blindes: maak streeksondersteuningsentrums oop, skep geleenthede vir werk, ontspanning en kreatiewe selfverwesenliking; verskaf regs-, sielkundige en geteikende bystand.
Die fonds het verskeie projekte opgehoop, insluitend jeug en wetenskaplike, wat verband hou met die kwessies van doofblindheid, waaraan Denis deelgeneem het. "Op 'n stadium is besluit dat dit baie meer effektief en meer korrek sou wees om dit te ontwikkel in die formaat van 'n aparte laboratorium wat hierdie kwessies op 'n gespesialiseerde wyse hanteer," onthou Kuleshov.
Die nuanses van huishoudelike toestelle
In 2017 het die Sensor-Tech-laboratorium verskyn, waarvan die stigter die So-Unity Foundation was. Daar is dadelik begin met die skepping van toestelle vir gehoorgestremdes en blindes. ’n Toekenning van die Wetenskaplike en Tegnologiese Inisiatief is hiervoor toegeken binne die raamwerk van die Neuronet-padkaart.
Die voorwaarde vir die ontvangs van die toekenning was medefinansiering van die projek: 70% is deur NTI toegeken, die res van die geld moes deur die ontwikkelaars self gevind word. Die ontbrekende 30% is verskaf deur die So-Eenwording-stigting.
Die werk van die laboratorium moes van nuuts af gebou word: 'n ontwerpburo en 'n loodsproduksie is gevorm, waar prototipes van toestelle saamgestel is. Die eerste probleem waarmee die ontwikkelaars te kampe het, is die gebrek aan ervaring in die skep van huishoudelike toestelle. Hul vorige ondervinding in instrumentasie het hoofsaaklik met die verdedigingsbedryf verband gehou.
Die eerste prototipe van die toestel vir blindes was te lywig en ongerieflik om te gebruik. Nadat hulle terugvoer van gebruikers ontvang het, het die ontwikkelaars dit ernstig getransformeer. Dit was nodig om die toestel sonder onderbrekings te laat werk, gerieflik en verstaanbaar te wees om te gebruik.
Nou het die laboratorium ’n toestel vir blindes en gesiggestremdes ontwikkel – “Robin” en ’n toestel vir mense met gehoorgestremdheid – “Charlie”.
"Die mark vir toestelle vir gestremde mense is nie baie groot nie, alle produksie is kleinskaalse en duur," sê Denis. Dit is die rede vir die redelik hoë prys van die toestelle: "Robin" kos 150 duisend roebels, "Charlie" - 195 duisend roebels. Daarom onderhandel vervaardigers met die regering om hul uitvindings by die lys van tegniese rehabilitasiemiddele in te sluit – in hierdie geval sal die regering vir die aankoopkoste vergoed.
Vertel my wat jy sien
Uiterlik lyk "Robin" soos 'n draagbare kamera. Sensors skandeer voorwerpe, en kunsmatige intelligensie bepaal wat voor die gebruiker is – 'n motor, 'n tafel, 'n rekenaar, 'n ander persoon. Daar is meer as 50 voorwerpe in die toestelgeheue. As jy foto's daar oplaai, herken dit die persoon en sê sy naam. Om "Robin" in die donker te gebruik, is 'n flitslig daarin ingebou. In hierdie geval gee die gadget nie net die voorwerp naam nie, maar skat ook die afstand daarheen.
Die eerste vrystelling van "Robin" was onsuksesvol. Om die toestel 'n voorwerp op te spoor, was dit nodig om die toestel te wys, die knoppie te druk en ten minste 2 sekondes te wag. Maar dit het geblyk dat dit ongerieflik vir gebruikers was: onmiddellik nadat hulle die knoppie gedruk het, het hulle die toestel van kant tot kant begin bestuur. As gevolg hiervan het die inligting wat "Robin" uitgespreek het, irrelevant geblyk te wees: hy het voorwerpe beskryf wat hy herken het voordat hy verskuif is.
“Ons het geweet hoe om die toestel te help en waarheen om dit te rig, en mense het nie daardie ervaring gehad nie. As gevolg hiervan het dit vir hulle gelyk of die toestel nie goed werk nie,” verduidelik Alexander. Toe het die ontwikkelaars besluit om die beginsel van werk te verander. Die terugvoertyd vanaf die toestel is tot 'n sekonde verminder, terwyl die "Robin" eers gewerk het toe die knoppie gedruk is. Hierdie opsie blyk duideliker en makliker vir gebruikers te wees.
“Daar is geen direkte mededingers, dit wil sê toestelle met dieselfde funksies, op die mark nie. Maar daar is analoë, byvoorbeeld OrCam, ”sê Alexander.
OrCam MyEye en OrCam MyReader is draagbare toestelle vir kunsmatige visie wat deur die Israeliese maatskappy met dieselfde naam vervaardig word. Dit is klein draadlose kameras wat aan die slape geheg kan word. Die eerste toestel lees gedrukte en digitale teks, strepieskodes van goedere, herken gesigte en lees die inligting wat ontvang word. Die tweede word slegs vir die lees van tekste gebruik. Die toestelle ondersteun 17 tale en benodig nie 'n internetverbinding nie.
________________________________________
Stem verander na teks
Charlie is vir mense met gehoorgestremdheid. Mense met ondervinding in onderrig vir gehoorgestremdes het aan die ontwikkeling daarvan deelgeneem. Daarom was die ontwikkelaars bewus van die probleme wat ontstaan in die proses van kommunikasie en die versoeke van beide partye.
Die toestel tel spraak op 'n afstand van 2 m op en vertoon dit as teks op die skerm. Die gadget kan ook deur doofblindes gebruik word – hiervoor word 'n Braille-skerm aan die "Charlie" gekoppel. Dit laat jou toe om inligting met jou vingers te lees en 'n antwoord in te voer.
Braille is in 1824 ontwikkel. Dit is 'n stelsel van konvekse punte en leemtes tussen hulle. Elke karakter word geënkodeer met 'n 3×2 traliewerk. Die kombinasie van kolletjies binne elke sel stem ooreen met 'n letter of leesteken. As die teks die skrif verander, byvoorbeeld van Latyn na Cyrillies, word dit ook met 'n spesiale simbool aangedui.
Die ontwikkelaars sê dat daar ook geen analoë van "Charlie" op die mark is nie. Talle programme wat spraak in teks vertaal, is hoofsaaklik ontwerp vir mens-rekenaar interaksie, en nie vir twee mense om met mekaar te kommunikeer nie.
Die eerste masjien wat stem kan herken, het in die 1950's by Bell Labs verskyn. Die toestel het getalle van nul tot nege bepaal. Terselfdertyd het die masjien die uitvinder baie beter verstaan: toe hy gepraat het, was die reproduksie akkuraatheid ongeveer 90%. Die toestel het slegs in 70-80% van die gevalle die spraak van ander mense korrek herken.
Tot in die 90's was spraakherkenning op sjablone gebaseer: klankgolwe is in 'n stel syfers vertaal, en die resultaat is vertoon wanneer die spraak by die voorbeeld pas. Daarom, vir die korrekte interpretasie van stemseine, was dit nodig om agtergrondgeraas uit te skakel, stadig en duidelik te praat.
Dragon's NaturallySpeaking was die eerste spraakherkenner wat nie pouses tussen woorde vereis het nie. Dit het in 1997 verskyn en word vandag steeds gebruik.
Masjienleer en KI-tegnologie het die spraakherkenningstelsel aansienlik verbeter en dit moontlik gemaak om algoritmes aan te pas by die individuele wyse van kommunikasie van elke persoon. Die resultaat was die opkoms van stemassistente: Google Assistant, Siri van Apple, Alexa van Amazon, "Alice" van Yandex. Daarbenewens is daar spesiale toepassings, byvoorbeeld ListNote, SpeechNotes, vir spraakherkenning, vertaling van 'n stem in 'n teksboodskap. Sommige toepassings, soos Speechlogger, kan selfs gelyktydige vertaling van een taal na 'n ander uitvoer.
Met die hulp van "Charlie" sal die gespreksgenote met mekaar kan kommunikeer sonder om die hulp van 'n tussenganger te gebruik. Boonop kan die toestel vir afstandkommunikasie gebruik word, byvoorbeeld vir lesings by universiteite of om vergaderings te hou. Dit is genoeg vir die aanbieder om “Charlie” langs hom te sit, en die luisteraars – om met die skakel by die program aan te sluit. Die gedekodeerde spraak sal intyds op die skerm van 'n slimfoon of rekenaar vertoon word.
Sien die wêreld weer
“Sensor-Tech” neem ook deel aan wetenskaplike navorsing wat verband hou met die gebruik van neurotegnologieë vir die terugkeer van visie.
Dit het alles in 2016 by 'n internasionale konferensie in die Verenigde State begin. Daar het verteenwoordigers van die So-Unity Foundation met 'n Amerikaanse maatskappy vergader wat met bioniese visie te doen het. Hulle het ingestem om 'n eksperiment in Rusland uit te voer om bioniese skyfies in blindes in te plant.
“Die toestel is dalk nie van toepassing op alle blindes nie, dit is 'n taamlik nou poel van siektes, hoofsaaklik retinitis pigmentosa. Die eienaardigheid is dat daarby net een laag selle sterf, wat lig in 'n elektriese sein omskep. Die res van die selle bly lewendig,” verduidelik Denis.
Retinitis pigmentosa is 'n oorerflike afwyking wat met die X-chromosoom geassosieer word. Met hierdie patologie word retinale selle geleidelik vernietig, wat die beeld versamel en dit langs die optiese senuwee na die brein oordra. Die siekte begin met verlies van sy- en nagvisie en lei uiteindelik tot algehele blindheid. Daar is geen effektiewe voorkomende maatreëls teen retinitis pigmentosa, sowel as behandelingsmetodes nie. Die inplanting van mikroskyfies is nog onder ontwikkeling, en dokters stel ook voor dat geenterapie en stamselterapie 'n deurbraak kan wees.
________________________________________
Gevolglik het hulle in die databasisse van die So-Uniformasie en Kuns, Wetenskap en Sport-stigtings twee mense met die regte diagnose gevind wat nie gepaardgaande patologieë gehad het nie. In 2017 is die inplantings in Grigory Ulyanov en Antonina Zakharchenko geïnstalleer. Die fondse vir die operasie is deur die Alisher Usmanov-stigting toegeken.
________________________________________
Alisher Usmanov se Kuns-, Wetenskap- en Sportstigting is in 2006 gestig. Finansier opvoedkundige en wetenskaplike projekte (werk saam met MGIMO, MISiS), ondersteun museums en teaters (Sovremennik, Tretyakov-galery, Igor Moiseev se ensemble en ander). Die stigting bevorder ook gesonde leefstyl en organiseer kompetisies, ook vir mense met gestremdhede.
________________________________________
Tydens die operasie word 'n inplantaat met elektrodes op die pasiënt se retina geplaas. Dit word geassosieer met spesiale bril met 'n ingeboude kamera. Inligting van die kamera word na 'n mikrorekenaar oorgedra, wat die beeld verwerk en seine na die inplantaat stuur. Elektriese impulse word langs die optiese senuwee na die brein oorgedra, waar 'n prentjie gevorm word.
Daar is 60 elektrodes in die inplantaat, wat vergelyk kan word met 'n 60-pixel-prent – volgens die aantal punte wat die inplanting stimuleer. Met sy hulp kan jy 'n beeld kry van slegs groot genoeg voorwerpe - vensters, deure, tafels, motors. Kleiner voorwerpe kan uit die "matriks" val wat deur die elektrodes gevorm word, of die data is onvoldoende om hulle te identifiseer.
Aangesien die pasiënt nie selle het wat verantwoordelik is vir kleurweergawe nie, is die beeld swart en wit. Maar in vergelyking met volledige blindheid, brei selfs so 'n beperkte visie uit die oogpunt van 'n gesonde persoon die vermoëns van pasiënte aansienlik uit. Hulle kan hulself in die ruimte oriënteer selfs in onbekende toestande sonder hulp van buite of bykomende toestelle en word redelik onafhanklik.
Sensor-Tech het gehoop dat die operasie dit moontlik sou maak om inplantings in Rusland te registreer en binne die raamwerk van hoëtegnologie mediese sorg beskikbaar te stel. Maar 'n probleem het ontstaan: die Ministerie van Gesondheid was van mening dat twee operasies nie genoeg was om 'n gevolgtrekking oor die veiligheid van die inplantings te maak nie. Die Amerikaners het op hul beurt geweier om verdere eksperimente uit te voer, aangesien daar geen waarborg was dat hierdie metode uiteindelik goedgekeur sou word nie.
“Wat ooginplantings betref, is die storie verby. Maar dit is selfs goed, want dit het 'n voortsetting in die vorm van kortikale inplantings, wat in die brein geplaas word. Dit is waar die visuele verwerking van inligting plaasvind. Chips kan gebruik word vir enige soort blindheid, in teenstelling met die oog. Dit is 'n meer hoë-tegnologie oplossing,” sê Denis.
Reeds in 2021 het die maatskappy die eerste ontwikkeling in 'n nuwe rigting aangebied. Dit is die eerste neuro-inplanting vir die brein ELVIS in Rusland, dit help om blinde en doofblinde mense sig te herstel. Die toestel het ’n inplantaat wat in die brein geïnstalleer is, ’n hoepel met twee kameras wat op die kop gedra moet word – dit neem die funksie van die oë oor en ’n mikrorekenaar wat die beeld ontleed en na die brein oordra. Die tegnologie maak dit moontlik om die silhoeëtte van voorwerpe, mense te onderskei en om die ligging van voorwerpe te verstaan.
Terwyl die stelsel op knaagdiere getoets word, sal toetse op ape volg. In 2024 beplan 10 blinde vrywilligers om 'n kortikale inplanting te installeer.
Kortikale visuele inplantings word in die serebrale korteks geplaas. Hulle stimuleer die visuele areas, wat visuele sensasies tot gevolg het. Volgens kenners sal dit toelaat om die helderheid van beelde te verander en kleurweergawe te verskaf, wat onmoontlik is wanneer bioniese inplantings gebruik word. Die eerste operasies vir die inplanting van kortikale inplantings is in die 70's van die vorige eeu uitgevoer. En in 2018 het die Amerikaanse maatskappy Second Sight in die openbaar moderne neuro-inplantings vir die eerste blinde vrywilligers geïnstalleer. Die tegnologie ondergaan kliniese toetse.
Wetenskaplike navorsing en oorsese markte
Daar is ander verwikkelinge onder die laboratorium se gevalle. ’n Gratis toepassing vir selfone is byvoorbeeld saam met ’n sellulêre operateur ontwikkel om blindes te help om die denominasie van banknote te bepaal. Dit is beskikbaar op iOS en Android.
Om die denominasie van 'n wissel uit te vind, rig net jou slimfoonkamera daarop. Die KI sal die banknoot identifiseer en dit noem. En as jy die kamera op verskeie rekeninge op dieselfde tyd rig, sal die toestel dadelik hul bedrag bereken.
As die toepassing deur 'n gesig- en gehoorgestremde persoon gebruik word wat nie die stem optree nie, kan die denominasie van die snawel herken word deur vibrasie - vir verskillende denominasies is daar eie modusse.
As die foon nie die rekening kan herken nie, kan dit gefotografeer word en by die databasis gevoeg word via die “Help for Developers”-funksie. Gewoonlik ontstaan die behoefte hiervoor wanneer nuwe of seldsame gedenknotas uitgereik word.
Benewens die vervaardiging van toestelle, is Sensor-Tech betrokke by wetenskaplike navorsing op die gebied van doofblindheid. "Ons wil dit duidelik maak aan gesonde mense hoe diegene met gestremde visie of gehoor die wêreld in die algemeen sien," sê Andrey.
Dus, die laboratorium het simulators van visuele gestremdhede geskep: die See My World VR-simulator en sy mobiele weergawe SMW Pro. "Raas" word op die lewendige beeld of op 'n statiese beeld geplaas. As gevolg hiervan word die prentjie vervorm volgens die spesifieke visuele gebrek. Dit word byvoorbeeld vaag of 'n swart kol verskyn in die middel van die prent.
“Ons simuleer die simptome van hoe 'n persoon met verskeie gesiggestremdheid sien. Letterlik: hoe om deur die oë te kyk van 'n persoon met katarakte, miopie, astigmatisme, gloukoom, "sê Andrey. Met behulp van die simulator kan u ook die dinamika van die siekte oor tyd naspeur. Dit help dokters en studente om die kliniese prentjie beter te bestudeer, en die pasiënt se naasbestaandes – om letterlik deur sy oë na die wêreld te kyk.
“Om die beeld so betroubaar moontlik te maak, word die kliniese beeld van die siekte gebruik om dit te skep. Daarbenewens verduidelik ons die resultaat met die pasiënt, sodat hy kan bevestig of hy dit sien, as sy visie nog nie ernstig aangetas is nie,” verduidelik Andrey.
Nou wil ontwikkelaars hul toestelle in die Europese en Amerikaanse markte bevorder. Daar word beplan om die gadgets op Amazon te plaas en boonop staatsliggame en openbare organisasies te bereik wat die probleme van mense met gestremdhede hanteer. Denis is seker dat die mark vir toegepaste ontwikkelings net sal groei. En die direkteur van die Sensor-Tech-laboratorium sien sy missie daarin om die lewe van mense met gestremdhede te vergemaklik danksy tegnologie.
