Описание проекта

Бортовые системы БПЛА с применением алгоритмов искусственного интеллекта и компьютерного зрения в мире набирают популярность.

Отличительной особенностью нашего программно-аппаратного комплекса является реализация обработки FullHD и 4K видео потоков непосредственно на борту летательного аппарата в режиме реального времени!

Комплекс может применяться для подсчёта и обнаружения объектов во время полёта. Возможности комплекса можно расширить функциями дополненной реальности, интеллектуального автономного управления полётом аппарата и т.д.

В качестве базовой платформы для реализации комплекса была использована система на кристалле с программируемой логикой FPGA Xilinx Zynq Ultrascale+. Применение программируемой логики позволило существенно повысить скорость работы алгоритмов компьютерного зрения а также разместить нейросетевой модуль в том же кристалле. Такая архитектура обеспечивает высокую степень параллелизации обработки данных и избавляет от необходимости передавать большие массивы информации между различными блоками системы за счёт использования всеми компонентами платформы общей памяти.

В рамках MVP мы реализовали комплекс с применением нейросетевой модели собственной разработки для подсчёта животных, людей и транспортных средств.

Данные с бортовой камеры обрабатываются комплексом и передаются на аналоговый передатчик. Оператор в очках FPV наблюдает за картинкой с минимальной, не заметной глазом задержкой. При этом нарушение канала связи с аппаратом никак не влияет на обработку видеопотока нейросетевыми алгоритмами.

Презентации

Бортовой программно-аппаратный комплекс с искусственным интеллектом для БПЛА

Пульс