Видеосемантика — это краткое логическое изложение видеоинформации путём разложения её на видеосюжеты, каждый из которых имеет свой законченный смысл. Она основана на исследовании видео-активности, поиска изменений в динамике детектируемых областей кадра.

Видеосемантика — это особое направление видеоаналитики или, как ее еще называют,  гибкая видеоаналитика, не имеющая жестких параметров и точной формализации.

Задача видеосемантики – сокращение объема бесполезной информации, что сегодня очень актуально в видеонаблюдении, ведь чем меньше поступает ненужных данных для анализа, тем больше вероятность, что будут обнаружены события, требующие вмешательства.

Видеосемантика отслеживает характерные черты видеоконтента в результате анализа статистических изменений, таким образом, осуществляется селекция видеособытий по их смысловому отличию. таким образом, семантика  в видеоаналитике изучает смысл единиц видеособытий.

Видеосемантика базируется на большом наборе различных типов видеодетекторов, изучающих свойства объекта. Это его размеры, соотношения сторон, цветовую гамму, направление движения, скорость, частоту движений, параметры изменений и т.д. Все эти характеристики связаны между собой математическими соотношениями, основанными на закономерностях поведения различных типов объектов.

Отсутствие жестко заданных параметров и точной формализации защищает от помех, так как они включаются в общий анализ и вычитаются сами из себя в результате разности статистических изменений.

Видеосемантика позволяет разграничивать события по их отличительным признакам, что дает возможность автоматизировать многие процессы, связанные с поиском видеоконтента в больших объемах информации, находящихся в видеоархиве, или же в режиме реального видеонаблюдения.

Видеосемантика раскладывает видеопоследовательность на смысловые единицы. Дополнительные программы могут выделять ту часть смысловой информации, которая полностью характеризует весь фрагмент видеоизображения. И, в итоге, вместо постоянной видеозаписи получается разделенный на короткие фрагменты видеоряд, вмещающий в себе смысл всей записи в удобном для восприятия виде.

Данный подход не требует применения сложных алгоритмов искусственного интеллекта и машинного обучения. Причем методы вычисления избыточных данных постоянно совершенствуются, все меньше остается на экране оператора видеонаблюдения бессодержательных сюжетов.

Видеосемантика наиболее часто используются в следующих задачах:

  • В охранном видеонаблюдении сокращение поступаемой информации до значимых видеособытий;
  • Запись видеороликов в системах видеонаблюдения по тревоге, где тревога объявляется при резком изменении содержания кадра или контролируемых зон внутри кадра;
  • Создание видеосинопсиса, то есть краткого содержимого длинного видеоряда;
  • В мобильном видеонаблюдении, где требуется краткая событийная передача происходящих событий перед удалёнными камерами видеонаблюдения;

Видеосемантика сравнивает не статические картинки и не пикселы как таковые, а изменение характера активности. Она работает с динамикой и находит новое движение на фоне других передвижений.

Когда объект попадает в кадр или начинает двигаться, анализируется и запоминается его характер активности, что становится признаком идентичности данного объекта. Реакция идет на изменение этой закономерности движения или на появление другого характера движения в кадре, а также их комбинаций при наложении.

По сути видеосемантика – это надстройка над видеодетекциией или ее производная. И таких производных может быть  множество.

В видеосамантику входит и производная от алгоритмов классической видеоаналитики, производная от систем распознавания, хотя формально видеосемантика и не распознает объекты, но она использует этот тип детекции для исследования объектов движения.

Всё это  работает не на идентификацию признаков преступления или других тревожных событий, а лишь на поиск различий в статистике движения.  Такой подход, конечно,  не заменяет человеческий труд, но зато значительно его упрощает.

Для видеосемантики любая форма движения – это лишь предмет статистического анализа, а реакция идет лишь на изменение статистики.

Видеосемантика не срабатывает при появлении помех, каким-либо образом идентифицируя их. Она ничего не распознает, искусственного интеллекта в ней нет. Видеосемантика срабатывает, к примеру, не при каждом качании веточки, а только один раз – когда изменилась погода, став ветреной.

При этом технология укорачивает все остальные кадры, связанные с качанием ветки, в том числе и помехи. В панели выдачи результатов будет качающаяся ветка, но один только раз за время ветреной погоды, это тем самым во много раз снижая время записи одних и тех же кадров, где присутствует данная помеха, но других событий не происходит.

Помехи могут создавать изображение абсолютно подобное поведению реальных объектов, но на этом стандартная видеоаналитика останавливается, предлагая человеку разбираться самому с тем, как реагировать на постоянно возникающие блики, летающие птицы или ползающие по объективу насекомые.

Видеосемантика позволяет разграничить события, вычленив отдельно картину помех. При этом, не имея человеческого интеллекта, она тоже не может утверждать, что данное явление помеха, но при этом уже не требует постоянного человеческого внимания при разрешении вопроса.

Таким образом, главная задача видеосемантики – разграничение событий. Именно она дает возможность сокращать огромные объемы информации, выделяя лишь полезные данные.

Видеосемантика вычисляет однотипные периоды движения и отделяет один характер поведения от другого. Так образуются события. Еще раз повторимся, что никакого искусственного интеллекта не используется, данная технология лишь отделяет одно неизвестное событие от другого неизвестного. При этом события не формализуются, нет понятий типа «драка», «грабеж», «проникновение» и т.д. Есть лишь разграничение границ периодов событий. А это значит, что пролистать все события можно за секунды, не ожидая их полного окончания.

Существуют программы, которые отслеживают характерные черты в результате анализа статистических изменений, таким образом осуществляя селекцию видеособытий по их семантическому отличию.

При этом видеозапись раскладывается на смысловые единицы, показывая ту часть этой единицы, которая полностью передает ее смысл. И вместо длительной видеозаписи, имеющей одну единственную смысловую нагрузку, человеку дается возможность короткого показа сокращенного в сотни и тысячи раз видеоролика – полностью передающего весь смысл длительного сюжета.

Скорость работы с базой знаний зависит от того, насколько эффективно реализованы программы обработки нужных статистических данных.  При этом надо учитывать, что любой объект состоит их нескольких элементов, например, детектироваться могут только руки или движущиеся губы одного человека.

Даже в толпе видеосемантика выхватывает потенциально опасные сюжеты, новые лица, необычное поведение людей: кто-то что-то взял, подложил, замахнулся, подъехал, ушел, и т.д. Если из стандартной записи по обычному видеодетектору получается тысячи архивных часов бессвязной информации, то видеосемантика находит в ней ключевые моменты, по которым можно за несколько минут охватить весь смысл этих тысяч часов.

Задача – сокращения объема бесполезной информации – стоит сегодня самой актуальной в развитии видеонаблюдения и безопасности вообще. И видеосемантика отличное средство для этих целей.