Kunstig intelligens, kombinert med et nytt bioteknologibasert kamera, gjør det mulig å oppdage fotgjengere på veien 100 ganger raskere enn dagens bilkameraer. Dette store gjennombruddet innen datasyn, gjort av forskere ved Universitetet i Zürich, kan forbedre sikkerheten til førerassistansesystemer og selvkjørende biler betydelig.
En situasjon der en fotgjenger plutselig går ut foran en bil, vanligvis med bare en brøkdel av et sekund til å reagere, er et mareritt for enhver sjåfør. Nåværende bilkamerasystemer kan advare sjåføren eller aktivere nødbremsing, men de er ennå ikke raske eller pålitelige nok til bruk i autonome kjøretøy der det ikke er noe menneske bak rattet.
Hva den nye oppfinnelsen tilbyr
Daniel Gehrig og David Scaramuzza fra Institutt for informatikk ved Universitetet i Zürich har kombinert et nytt kamera inspirert av biologiske prosesser med kunstig intelligens for å lage et system som kan oppdage hindringer rundt en bil mye raskere enn dagens systemer og med mindre datakraft.
De fleste moderne kameraer er timelapse-kameraer, som betyr at de tar bilder med jevne mellomrom. Kameraer som brukes til å hjelpe bilførere, kan vanligvis fange 30 til 50 bilder per sekund, og et kunstig nevralt nettverk kan trenes til å gjenkjenne objekter – fotgjengere, syklister og andre biler – mye raskere.
Selv om de blir bedre, kan kameraet oppdage det for sent hvis noe skjer med standardkameraer innen 20–30 millisekundene mellom to bilder. Ett alternativ er å øke bildefrekvensen, men det krever mer sanntidsdatabehandling og mer datakraft. «Det nye systemet er en visuell detektor som kan oppdage objekter like raskt som et kamera som tar 5,000 bilder per sekund, men krever samme båndbredde som et standardkamera med 50 bilder per sekund.»
De nye kameraene har en innovativ tilnærming basert på et annet prinsipp. I stedet for en konstant bildefrekvens har de smarte piksler som fanger opp informasjon når raske bevegelser oppdages.
«På denne måten er det ingen blindsoner mellom bildene, noe som gjør at de kan oppdage hindringer raskere. De kalles også nevromorfe kameraer fordi de etterligner måten menneskeøyne oppfatter bilder på», sier Scaramuzza, leder for robotikk- og persepsjonsgruppen.
De har imidlertid også sine ulemper, ettersom de kan overse objekter i sakte bevegelse, og bildene deres er vanskelige å konvertere til data som brukes til å trene algoritmer for kunstig intelligens.
Forskernes innovasjon er at de utvikler et hybridsystem som kombinerer det beste fra begge teknologiene:
Det første inkluderer et standardkamera som tar 20 bilder per sekund, noe som er en relativt lav bildefrekvens sammenlignet med dagens. Bildene behandles av et kunstig intelligenssystem, et såkalt konvolusjonelt nevralt nettverk, trent til å gjenkjenne biler og fotgjengere.
Dataene fra hendelseskameraet kombineres med en annen type kunstig intelligens-system, et asynkront grafisk nevralt nettverk, som er spesielt godt egnet til å analysere tredimensjonale data som endrer seg over tid. Deteksjonene fra hendelseskameraet brukes til å forutsi standardkameraets deteksjoner og forbedre ytelsen.
Utsiktene er enorme
Under testingen sammenlignet teamet systemet sitt med de beste kameraene og visjonsalgoritmene som er tilgjengelige på bilmarkedet i dag, og fant ut at det oppdager objekter 100 ganger raskere. Dette reduserer mengden data som må overføres mellom kameraet og datamaskinen om bord, samt datakraften som kreves for å behandle bildene, uten at det går på bekostning av nøyaktigheten. Viktigere er det at systemet effektivt oppdager biler og fotgjengere som kommer inn i synsfeltet mellom to påfølgende bilder fra standardkameraet, noe som gir ekstra sikkerhet for både føreren og trafikantene. Dette er spesielt viktig i høye hastigheter. Forskerne tror at denne metoden i fremtiden kan forbedres ytterligere ved å integrere kameraer med LiDAR-sensorer, lik de som brukes i selvkjørende biler. Hybridsystemer av denne typen kan bli en hjørnestein for sikkerheten til autonom kjøring.
Illustrasjonsbilde: pexels-jakubzerdzicki-37116225
