Обработка видео Video processing
Сегментация и классификация объектов на видео в реальном времени. Детектор YOLO находит объекты и строит их маски в каждом кадре, языковая модель с распознаванием изображений уточняет классы. Запись ниже сделана FPV-дроном. Real-time object segmentation and classification in video. A YOLO detector finds the objects and builds their masks in every frame; a vision-language model refines the classes. The recording below was made by an FPV drone.
Как это устроеноHow it works
Реальное времяReal time
Кадры обрабатываются по мере поступления, результат накладывается на поток сразу, без записи и последующей обработки всего видео.Frames are processed as they arrive and the result is overlaid on the stream at once, with no need to record and post-process the whole video.
СегментацияSegmentation
Каждый объект выделяется маской по контуру, а не только рамкой. Маски держатся и на быстрых разворотах дрона.Every object is marked with a mask along its outline, not just a box. The masks hold up through the drone’s fast turns.
КлассификацияClassification
Каждому объекту присваивается класс с подписью в кадре: здания, транспорт, люди, мебель, мелкие предметы.Every object gets a class, labelled in the frame: buildings, vehicles, people, furniture, small objects.
YOLO и языковая модельYOLO and a language model
Детектор YOLO даёт быстрые маски и базовые классы. Языковая модель с распознаванием изображений уточняет их и добавляет классы, которых нет в наборе детектора: теплица, сарай, игрушка. Результаты объединяются в одну разметку кадра.The YOLO detector provides fast masks and base classes. A vision-language model refines them and adds classes the detector does not know: greenhouse, shed, toy. The results are merged into one annotation per frame.
Другая записьAnother recording
Тот же метод на другой съёмке, при ярком солнце и жёстких тенях. Люди, строения и предметы выделены в каждом кадре.The same method on another recording, in bright sun with hard shadows. People, buildings and objects are marked in every frame.