Videomatrix сделала стрим с нейросетевым трекингом
В рамках реализации Системы трекинга и контроля клиентопотока главного катка Москвы компания "ВидеоМатрикс" впервые в России (по данным Videomatrix) успешно реализовала онлайн-видеотрансляцию в Youtube видео с разрешением в 4К, подвергнутое нейросетевой обработке и пригодное для просмотра через VR-очки или шлем.
Это первый видеострим с обработкой искусственным интеллектом. Запустив видеопоток , зритель с VR-устройством мог виртуально посетить каток и увидеть наглядно результат работ нейросети и алгоритмов.
Система на базе собственного программного обеспечения Vmx SILA была предназначена для трекинга и анализа посетителей катка: количества гостей на льду, скорости их передвижения, частоты падений, столкновений и даже анализа взрослый - ребенок и цвета одежды. Такой анализ помогал составлять расписание работы катка, распределять посещаемость, группируя посетителей с учетом возраста, уменьшить количество инцидентов.
Камеры, установленные на столбах по периметру катка, собирали видеопоток, а серверная видеоаналитика обрабатывала изображение. Впервые в России результат работы системы можно было увидеть в формате 360 градусов онлайн с высоким битрейтом и без потери пакетов благодаря Vmx видеоаналитике и сети 5G.
"Для сижения нагрузки на наши системы при работе с нейросетевым трекингом на 360 градусов после экспериментов с OBS мы перешли к разработке и внедрению решения, основанного на GStreamer. Используя этот мультимедийный фреймворк с элементами собственного производства, мы достигли цели и теперь можем использовать любой наш модуль обработки потока, накладывая любые слои на любой видеоряд в режиме реального времени при работе с линейкой ПО Vmx. Количество модулей, как и слоев, также можно изменять on-air", - прокомментировал решение и перспективы проекта генеральный директор компании "ВидеоМатрикс" Фарид Нигматуллин.
