Новости / апрель 2021
Videomatrix сделала стрим с нейросетевым трекингом

© ComNews
05.04.2021

В рамках реализации Системы трекинга и контроля клиентопотока главного катка Москвы компания "ВидеоМатрикс" впервые в России (по данным Videomatrix) успешно реализовала онлайн-видеотрансляцию в Youtube видео с разрешением в 4К, подвергнутое нейросетевой обработке и пригодное для просмотра через VR-очки или шлем.

Это первый видеострим с обработкой искусственным интеллектом. Запустив видеопоток на сайте ВДНХ, зритель с VR-устройством мог виртуально посетить каток и увидеть наглядно результат работ нейросети и алгоритмов.

Система на базе собственного программного обеспечения Vmx SILA была предназначена для трекинга и анализа посетителей катка: количества гостей на льду, скорости их передвижения, частоты падений, столкновений и даже анализа взрослый - ребенок и цвета одежды. Такой анализ помогал составлять расписание работы катка, распределять посещаемость, группируя посетителей с учетом возраста, уменьшить количество инцидентов.

Камеры, установленные на столбах по периметру катка, собирали видеопоток, а серверная видеоаналитика обрабатывала изображение. Впервые в России результат работы системы можно было увидеть в формате 360 градусов онлайн с высоким битрейтом и без потери пакетов благодаря Vmx видеоаналитике и сети 5G.

"Для сижения нагрузки на наши системы при работе с нейросетевым трекингом на 360 градусов после экспериментов с OBS мы перешли к разработке и внедрению решения, основанного на GStreamer. Используя этот мультимедийный фреймворк с элементами собственного производства, мы достигли цели и теперь можем использовать любой наш модуль обработки потока, накладывая любые слои на любой видеоряд в режиме реального времени при работе с линейкой ПО Vmx. Количество модулей, как и слоев, также можно изменять on-air", - прокомментировал решение и перспективы проекта генеральный директор компании "ВидеоМатрикс" Фарид Нигматуллин.