Navigáció vakoknak, „fordító” a süketekkel és szempótlókkal folytatott párbeszédekhez…
A WHO szerint több mint 2 milliárd látássérült ember él a világon. A szervezet becslései szerint 900-re több mint 2050 millió embernek lesz hallásproblémája. Az intelligens kütyük felhatalmazza ezeket az embereket, és segítenek megbirkózni külső segítség nélkül. Az ilyen eszközök egyik gyártója az orosz „Sensor-Tech” laboratórium. Mesélt Hayteknek az eszközökről, a külföldi társaitól való különbségeikről és arról, hogy az implantátumok hogyan tudják helyreállítani a látást még a vak betegek számára is.
Denis Kuleshov – a Sensor-Tech laboratórium igazgatója.
Alexander Popov a Sensor-Tech vezető tervezője.
Andrey Demchinsky – a „Sensor-Tech” orvosi projektek vezetője.
Neurotechnológiák, amelyek megszüntetik a korlátozásokat
Egy férfi sétál az utcán. Egyik kezében egy fehér bot van, amivel rátapint. A másikban van egy kis fekete tárgy, ami úgy néz ki, mint egy videokamera. A személy először maga elé, majd oldalra irányítja. A járókelők nem tudják, hogy ebben a pillanatban a fülhallgatóban a következő utasításokat hallja: „Autó, távolság – 5 méter. Férfi, távolság – 3 méter. "
Egy másik személy jön az MFC-hez. „Helló” – mondja mosolyogva az operátor, és ez a szó megjelenik a képernyőn a látogatóval szemben. A férfi visszamosolyog, és elkezdi gépelni a problémát a billentyűzeten, amit a kezelő kiolvas a számítógép monitorán. A nagyothallók és a külvilág között közvetítő egy kis eszköz, amely a beszédet szöveggé alakítja.
Mindkét készüléket a Sensor-Tech fejlesztette és gyártja. Igazgatója, Denis Kuleshov még az intézetben kezdett együttműködni fogyatékkal élők szervezeteivel: segített a kutatások lebonyolításában. Denis fokozatosan ráébredt, hogy ebben az irányban szeretne dolgozni, és a fogyatékkal élők számára szeretne fejlődni. Ezért amikor 2014-ben felajánlották neki, hogy csatlakozzon az új So-Unification alapítvány tudományos kutatásaihoz, azonnal beleegyezett.
2014 áprilisában megalakult a Siketek-Vakok Támogatói So-Unification Alapítvány, amely a siket-vakok szocializációjával foglalkozik: regionális támogató központokat nyit, foglalkoztatási, szabadidős, kreatív önmegvalósítási lehetőséget teremt; jogi, pszichológiai és célzott segítséget nyújt.
Az alap különböző projekteket halmozott fel, köztük ifjúsági és tudományos, a siketvakság kérdéseivel kapcsolatban, amelyekben Denis részt vett. „Valamikor az a döntés született, hogy sokkal hatékonyabb és helyesebb lenne ezt egy külön laboratóriumban fejleszteni, amely speciálisan foglalkozik ezekkel a kérdésekkel” – emlékszik vissza Kuleshov.
A háztartási gépek árnyalatai
2017-ben megjelent a Sensor-Tech laboratórium, melynek alapítója a So-Unity Alapítvány volt. Azonnal megkezdődött a hallássérültek és vakok számára készült kütyük létrehozása. Erre a Neuronet útiterv keretében a Tudományos és Technológiai Kezdeményezés támogatását különítették el.
A támogatás elnyerésének feltétele a projekt önrésze volt: 70%-ot az NTI különített el, a fennmaradó összeget a fejlesztőknek kellett megtalálniuk. A hiányzó 30%-ot a So-Unification Foundation biztosította.
A laboratórium munkáját a nulláról kellett felépíteni: kialakítottak egy tervezőirodát és egy kísérleti gyártást, ahol a készülékek prototípusait szerelték össze. Az első probléma, amellyel a fejlesztők szembesülnek, a tapasztalatok hiánya a háztartási készülékek létrehozásában. Korábbi műszerezési tapasztalataik elsősorban a védelmi iparhoz kapcsolódtak.
A vakok számára készült eszköz első prototípusa túl terjedelmesnek és kényelmetlennek bizonyult. A felhasználók visszajelzéseit követően a fejlesztők komolyan átalakították. Szükséges volt, hogy a készülék megszakítás nélkül működjön, kényelmes és érthető legyen.
A laboratórium most kifejlesztett egy vakok és gyengénlátók számára készült készüléket – „Robin”, valamint egy hallássérültek számára készült készüléket – „Charlie”-t.
„A fogyatékkal élőknek szánt eszközök piaca nem túl nagy, minden gyártás kis léptékű és drága” – mondja Denis. Ez az oka az eszközök meglehetősen magas árának: a „Robin” ára 150 ezer rubel, a „Charlie” – 195 ezer rubel. Ezért a gyártók tárgyalnak a kormánnyal, hogy találmányaikat vegyék fel a műszaki rehabilitációs eszközök listájára – ebben az esetben a kormány kompenzálja a beszerzési költségeket.
Mondd el, mit látsz
Külsőleg „Robin” egy hordozható fényképezőgépre hasonlít. A szenzorok átvizsgálják a tárgyakat, a mesterséges intelligencia pedig meghatározza, hogy mi van a felhasználó előtt – autó, asztal, számítógép, másik személy. A készülék memóriájában több mint 50 objektum található. Ha feltöltesz oda fotókat, felismeri az illetőt, és kimondja a nevét. A „Robin” sötétben való használatához egy zseblámpát építettek bele. Ebben az esetben a modul nem csak elnevezi az objektumot, hanem megbecsüli a távolságot is.
A „Robin” első kiadása sikertelen volt. Ahhoz, hogy a készülék felismerjen egy tárgyat, meg kellett irányítani a készüléket, meg kellett nyomni a gombot és várni legalább 2 másodpercet. De kiderült, hogy ez kényelmetlen volt a felhasználók számára: a gomb megnyomása után azonnal elkezdték mozgatni a készüléket egyik oldalról a másikra. Emiatt a „Robin” által hangoztatott információ irrelevánsnak bizonyult: olyan tárgyakat írt le, amelyeket az elmozdítása előtt felismert.
„Tudtuk, hogyan segíthetünk az eszközön, és hová irányítsuk, és az embereknek nem volt ilyen tapasztalatuk. Emiatt úgy tűnt, hogy az eszköz nem működik jól ”- magyarázza Alexander. Ezután a fejlesztők úgy döntöttek, hogy megváltoztatják a munka elvét. A készülék visszacsatolási ideje egy másodpercre csökkent, míg a „Robin” csak a gomb megnyomására működött. Ez a lehetőség világosabbnak és egyszerűbbnek bizonyult a felhasználók számára.
„Nincsenek közvetlen versenytársak, vagyis azonos funkciójú készülékek a piacon. De vannak analógok, például az OrCam ”- mondja Alexander.
Az OrCam MyEye és az OrCam MyReader hordozható mesterséges látóeszközök, amelyeket az azonos nevű izraeli cég gyárt. Ezek kis vezeték nélküli kamerák, amelyek a templomokhoz rögzíthetők. Az első készülék nyomtatott és digitális szövegeket, áruk vonalkódjait olvassa be, arcokat ismer fel és beolvassa a kapott információkat. A második csak szövegek olvasására szolgál. A modulok 17 nyelvet támogatnak, és nem igényelnek internetkapcsolatot.
________________________________________
A hang szöveggé változik
Charlie a hallássérültek számára készült. A fejlesztésben olyan emberek vettek részt, akik tapasztalattal rendelkeznek a hallássérültek oktatásában. Ezért a fejlesztők tisztában voltak a kommunikáció során felmerülő nehézségekkel és mindkét fél kéréseivel.
A készülék 2 m távolságból veszi fel a beszédet, és szövegként jeleníti meg a képernyőn. A kütyüt a siketvakok is használhatják – ehhez Braille-kijelzőt csatlakoztatnak a „Charlie-hoz”. Lehetővé teszi az információk ujjaival történő olvasását és válasz bevitelét.
A Braille-írást 1824-ben fejlesztették ki. Konvex pontokból és a köztük lévő üregekből álló rendszer. Minden karakter egy 3×2-es rács segítségével van kódolva. Az egyes cellákon belüli pontok kombinációja egy betűnek vagy írásjelnek felel meg. Ha a szöveg megváltoztatja az írást, például latinról cirillre, azt egy speciális szimbólum is jelzi.
A fejlesztők szerint a „Charlie”-nak sincs analógja a piacon. Számos beszédet szöveggé fordító program elsősorban ember-számítógép interakcióra készült, nem pedig arra, hogy két ember kommunikáljon egymással.
Az első hangfelismerésre képes gép az 1950-es években jelent meg a Bell Labs-nál. A készülék nullától kilencig számokat határozott meg. Ugyanakkor a gép sokkal jobban megértette a feltalálót: amikor beszélt, a reprodukálási pontosság körülbelül 90%. A készülék csak az esetek 70-80%-ában ismerte fel helyesen mások beszédét.
A 90-es évekig a beszédfelismerés sablonokon alapult: a hanghullámokat számok halmazává fordították, és az eredmény akkor jelent meg, amikor a beszéd megegyezett a mintával. Ezért a hangjelek helyes értelmezéséhez szükség volt a háttérzaj kiküszöbölésére, a lassú és világos beszédre.
A Dragon's NaturallySpeaking volt az első beszédfelismerő, amely nem igényel szünetet a szavak között. 1997-ben jelent meg, és ma is használatban van.
A gépi tanulás és a mesterséges intelligencia technológiák jelentősen továbbfejlesztették a beszédfelismerő rendszert, és lehetővé tették az algoritmusok adaptálását az egyes személyek egyéni kommunikációs módjához. Az eredmény a hangasszisztensek megjelenése volt: Google Assistant, Siri az Apple-től, Alexa az Amazontól, „Alice” a Yandextől. Ezenkívül vannak speciális alkalmazások, például a ListNote, a SpeechNotes a beszédfelismeréshez, a hang szöveges üzenetté fordításához. Egyes alkalmazások, például a Speechlogger, akár szinkronfordítást is végezhetnek egyik nyelvről a másikra.
„Charlie” segítségével a beszélgetőpartnerek anélkül kommunikálhatnak egymással, hogy közvetítőt kellene igénybe venniük. Emellett a készülék távoli kommunikációra is használható, például egyetemi előadásokhoz vagy értekezletekhez. Elég, ha a műsorvezető maga mellé rakja „Charlie”-t, a hallgatóknak pedig – a linken keresztül csatlakozni a műsorhoz. A dekódolt beszéd valós időben megjelenik egy okostelefon vagy számítógép képernyőjén.
Lásd újra a világot
Szintén a „Sensor-Tech” részt vesz a neurotechnológiák látásvisszaadásra való felhasználásával kapcsolatos tudományos kutatásokban.
Az egész 2016-ban kezdődött egy nemzetközi konferencián az Egyesült Államokban. Ott találkoztak a So-Unity Foundation képviselői egy bionikus látással foglalkozó amerikai céggel. Megállapodtak abban, hogy Oroszországban kísérletet hajtanak végre bionikus chipek vak emberekbe történő beültetésére.
„A készülék nem biztos, hogy minden vak embernél alkalmazható, a betegségek meglehetősen szűk gyűjteményéről van szó, elsősorban a retinitis pigmentosaról. Különlegessége, hogy vele csak egy sejtréteg pusztul el, ami a fényt elektromos jellé alakítja. A többi sejt életben marad ”- magyarázza Denis.
A retinitis pigmentosa egy örökletes rendellenesség, amely az X kromoszómához kapcsolódik. Ezzel a patológiával a retinasejtek fokozatosan elpusztulnak, összegyűjtik a képet, és a látóideg mentén továbbítják az agyba. A betegség az oldalsó és éjszakai látás elvesztésével kezdődik, és végül teljes vaksághoz vezet. A retinitis pigmentosa ellen nincsenek hatékony megelőző intézkedések, valamint kezelési módszerek. A mikrochipek beültetése még fejlesztés alatt áll, az orvosok szerint a génterápia és az őssejtterápia is áttörést jelenthet.
________________________________________
Ennek eredményeként az So-Unification és a Művészet, Tudomány és Sport alapítványok adatbázisaiban két olyan személyt találtak megfelelő diagnózissal, akiknél nem voltak kísérő patológiák. 2017-ben Grigory Uljanovban és Antonina Zakharchenkoban telepítették az implantátumokat. A művelethez szükséges pénzeszközöket az Alisher Usmanov Alapítvány biztosította.
________________________________________
Alisher Usmanov Művészeti, Tudományos és Sport Alapítványát 2006-ban alapították. Oktatási és tudományos projekteket finanszíroz (együttműködik az MGIMO-val, MISiS-szel), támogat múzeumokat és színházakat (Szovremennik, Tretyakov Galéria, Igor Moiseev együttese és mások). Az alapítvány emellett az egészséges életmódot népszerűsíti és versenyeket is szervez, többek között fogyatékkal élőknek.
________________________________________
A műtét során elektródákkal ellátott implantátum kerül a páciens retinájára. Speciális, beépített kamerával ellátott szemüvegekhez kapcsolódik. A kamerából származó információ egy mikroszámítógépbe kerül, amely feldolgozza a képet, és jeleket küld az implantátumnak. Az elektromos impulzusok a látóideg mentén az agyba jutnak, ahol kép keletkezik.
Az implantátumban 60 elektróda található, ami egy 60 pixeles képhez hasonlítható – az implantátum által stimulált pontok számával. Segítségével csak elég nagy tárgyakról – ablakokról, ajtókról, asztalokról, autókról – kaphat képet. Kisebb tárgyak eshetnek ki az elektródák alkotta „mátrixból”, vagy az adatok nem elegendőek az azonosításhoz.
Mivel a betegnek nincsenek színvisszaadásért felelős sejtjei, a kép fekete-fehér. De a teljes vaksághoz képest az egészséges ember szempontjából még ilyen korlátozott látás is jelentősen kiterjeszti a betegek képességeit. Ismeretlen körülmények között is tudnak tájékozódni a térben külső segítség és kiegészítő eszközök nélkül, és egészen önállóvá válnak.
A Sensor-Tech azt remélte, hogy az operáció lehetővé teszi az implantátumok oroszországi regisztrálását és elérhetővé tételét a csúcstechnológiás orvosi ellátás keretében. De felmerült egy probléma: az egészségügyi minisztérium úgy ítélte meg, hogy két műtét nem elég ahhoz, hogy következtetést vonjanak le az implantátumok biztonságosságáról. Az amerikaiak viszont megtagadták a további kísérleteket, mivel nem volt garancia arra, hogy ezt a módszert végül jóváhagyják.
„A szemimplantátumok tekintetében a történetnek vége. De ez még jó is, mert van egy folytatása kérgi implantátumok formájában, amelyeket az agyba helyeznek. Itt történik az információ vizuális feldolgozása. A chips bármilyen vakság esetén használható, ellentétben a szemmel. Ez egy high-tech megoldás ”- mondja Denis.
A cég már 2021-ben bemutatta az első új irányú fejlesztést. Ez az első neuroimplantátum az agy ELVIS számára Oroszországban, segít helyreállítani a vakok és siketvakok látását. A készülékben van egy agyba épített implantátum, a fejen hordható karika két kamerával – ezek veszik át a szem funkcióját, valamint egy mikroszámítógép, amely elemzi a képet és továbbítja az agyba. A technológia lehetővé teszi a tárgyak, emberek sziluettjének megkülönböztetését és a tárgyak elhelyezkedésének megértését.
Amíg a rendszert rágcsálókon tesztelik, a majmokon végzett tesztek következnek. 2024-ben 10 vak önkéntes kortikális implantátum behelyezését tervezi.
Kortikális vizuális implantátumokat helyeznek az agykéregbe. Stimulálják a vizuális területeket, ami vizuális érzeteket eredményez. A szakértők szerint ez lehetővé teszi a képek fényerejének megváltoztatását és a színvisszaadást, ami bionikus implantátumok használata esetén lehetetlen. Az első kortikális implantátum beültetési műveleteket a múlt század 70-es éveiben hajtották végre. 2018-ban pedig az amerikai Second Sight cég nyilvánosan telepített modern neuroimplantátumokat az első vak önkéntesek számára. A technológia klinikai kísérletek alatt áll.
Tudományos kutatás és tengerentúli piacok
A laboratóriumi esetek között más fejlemények is vannak. Például egy mobilszolgáltatóval közösen kifejlesztettek egy ingyenes alkalmazást mobiltelefonokhoz, hogy segítsenek a vakoknak meghatározni a bankjegyek címletét. Elérhető iOS és Android rendszeren.
Ha meg szeretné tudni a bankjegy címletét, csak irányítsa rá az okostelefon kameráját. Az AI azonosítja a bankjegyet és elnevezi. Ha pedig egyszerre több számlára irányítja a kamerát, a készülék azonnal kiszámolja azok összegét.
Ha az alkalmazást látás- és hallássérült személy használja, aki nem hallja a beszédet, a számla címletét rezgésből lehet felismerni – a különböző címletekhez saját módok vannak.
Ha a telefon nem ismeri fel a számlát, a „Súgó fejlesztőknek” funkción keresztül lefényképezhető és hozzáadható az adatbázishoz. Erre általában új vagy ritka emlékjegyek kiadásakor van szükség.
A Sensor-Tech az eszközök gyártása mellett tudományos kutatásokkal is foglalkozik a siketvakság területén. "Szeretnénk világossá tenni az egészséges emberek számára, hogy a látás- vagy hallássérültek általában hogyan látják a világot" - mondja Andrey.
Így a laboratórium elkészítette a látássérült szimulátorokat: a See My World VR szimulátort és annak mobil verzióját az SMW Pro-t. A „zaj” rákerül az élő képre vagy egy statikus képre. Ennek eredményeként a kép torzul az adott vizuális hibának megfelelően. Például elmosódottá válik, vagy fekete folt jelenik meg a kép közepén.
„Szimuláljuk a tüneteket, hogyan lát egy különféle látássérült ember. Szó szerint: hogyan kell átnézni egy szürkehályogban, rövidlátásban, asztigmatizmusban, zöldhályogban szenvedő ember szemével ”- mondja Andrey. Ezenkívül a szimulátor segítségével nyomon követheti a betegség dinamikáját az idő múlásával. Ez segít az orvosoknak és a hallgatóknak a klinikai kép jobb tanulmányozásában, a beteg közeli hozzátartozóiban pedig abban, hogy szó szerint az ő szemén keresztül nézzék a világot.
„Annak érdekében, hogy a kép minél megbízhatóbb legyen, a betegség klinikai képét használják fel a létrehozásához. Ezenkívül tisztázzuk az eredményt a pácienssel, hogy megbizonyosodjon arról, hogy látja-e, ha a látása még nem romlott súlyosan” – magyarázza Andrey.
A fejlesztők most az európai és az amerikai piacokon szeretnék népszerűsíteni készülékeiket. A tervek szerint a kütyüket felteszik az Amazonra, emellett pedig a fogyatékkal élők problémáival foglalkozó kormányzati szerveket és állami szervezeteket is elérik. Denis biztos abban, hogy az alkalmazott fejlesztések piaca csak növekedni fog. A Sensor-Tech laboratórium igazgatója pedig abban látja küldetését, hogy a technológiának köszönhetően megkönnyítse a fogyatékkal élők életét.
