Искусственный интеллект в сочетании с новой камерой на основе биотехнологий позволяет обнаруживать пешеходов на дороге в 100 раз быстрее, чем существующие автомобильные камеры. Этот крупный прорыв в области компьютерного зрения, достигнутый исследователями из Цюрихского университета, может значительно повысить безопасность систем помощи водителю и беспилотных автомобилей.
Ситуация, когда пешеход внезапно выбегает перед автомобилем, оставляя водителю обычно лишь доли секунды на реакцию, — это кошмар для любого водителя. Современные автомобильные системы видеонаблюдения могут предупредить водителя или активировать экстренное торможение, но они пока недостаточно быстры и надежны для использования в беспилотных автомобилях, где за рулем нет человека.
Что предлагает новое изобретение
Даниэль Гериг и Дэвид Скарамуцца с кафедры компьютерных наук Цюрихского университета объединили новую камеру, созданную по образцу биологических процессов, с искусственным интеллектом, чтобы создать систему, способную обнаруживать препятствия вокруг автомобиля гораздо быстрее, чем существующие системы, и с меньшими вычислительными затратами.
Большинство современных камер работают в режиме замедленной съемки, то есть делают снимки с определенными интервалами. Камеры, используемые для помощи водителям в автомобилях, обычно способны снимать от 30 до 50 кадров в секунду, а искусственная нейронная сеть может быть обучена распознавать объекты — пешеходов, велосипедистов и другие автомобили — гораздо быстрее.
Хотя качество снимков улучшается, если со стандартными камерами что-то происходит в течение 20-30 миллисекунд между двумя кадрами, камера может заметить это слишком поздно. Один из вариантов — увеличить частоту кадров, но это требует большей обработки данных в реальном времени и большей вычислительной мощности. «Новая система представляет собой визуальный детектор, способный обнаруживать объекты так же быстро, как камера, снимающая 5,000 кадров в секунду, но требующий той же полосы пропускания, что и стандартная камера с частотой 50 кадров в секунду».
В новых камерах используется инновационный подход, основанный на другом принципе. Вместо постоянной частоты кадров в них применяются интеллектуальные пиксели, которые захватывают информацию при обнаружении быстрых движений.
«Таким образом, между кадрами отсутствуют слепые зоны, что позволяет им быстрее обнаруживать препятствия. Их также называют нейроморфными камерами, потому что они имитируют то, как человеческий глаз воспринимает изображения», — говорит Скарамуцца, руководитель группы робототехники и восприятия.
Однако у них есть и недостатки, поскольку они могут не замечать медленно движущиеся объекты, а их изображения сложно преобразовать в данные, используемые для обучения алгоритмов искусственного интеллекта.
Инновация ученых заключается в разработке гибридной системы, которая сочетает в себе лучшие качества обеих технологий:
Первая система включает в себя стандартную камеру, которая делает 20 снимков в секунду, что является относительно низкой частотой кадров по сравнению с современными системами. Изображения обрабатываются системой искусственного интеллекта, так называемой сверточной нейронной сетью, обученной распознавать автомобили и пешеходов.
Данные с событийной камеры объединяются с другим типом системы искусственного интеллекта — асинхронной графовой нейронной сетью, которая особенно хорошо подходит для анализа трехмерных данных, изменяющихся во времени. Обнаружения с событийной камеры используются для прогнозирования обнаружений стандартной камеры и повышения ее производительности.
Перспективы огромны.
В ходе тестирования команда сравнила свою систему с лучшими камерами и алгоритмами машинного зрения, доступными сегодня на автомобильном рынке, и обнаружила, что она обнаруживает объекты в 100 раз быстрее. Это уменьшает объем данных, которые необходимо передавать между камерой и бортовым компьютером, а также вычислительную мощность, необходимую для обработки изображений, без ущерба для точности. Важно отметить, что система эффективно обнаруживает автомобили и пешеходов, попадающих в поле зрения между двумя последовательными кадрами стандартной камеры, что обеспечивает дополнительную безопасность как для водителя, так и для участников дорожного движения. Это особенно важно на высоких скоростях. Ученые считают, что в будущем этот метод можно будет еще больше улучшить, интегрировав камеры с датчиками LiDAR, аналогичными тем, которые используются в беспилотных автомобилях. Гибридные системы такого типа могут стать краеугольным камнем безопасности автономного вождения.
Иллюстративное фото: pexels-jakubzerdzicki-37116225
