В крупных компаниях каждый день проходят десятки онлайн-встреч, записи которых постепенно накапливаются в корпоративных архивах. Но найти в них конкретное решение, договоренность или реплику без просмотра видео бывает сложно и долго.
Для заказчика мы разработали внутренний ИИ-сервис, который автоматически распознает речь в видеозаписях встреч, преобразует ее в текст и позволяет искать нужные фрагменты по смыслу.
Клиент
Российская телекоммуникационная группа, работающая в сфере инфраструктурных и цифровых решений для бизнеса и государственных организаций.
В компании трудятся несколько тысяч сотрудников, которые работают как в центральном офисе, так и в региональных подразделениях.
По условиям NDA мы не раскрываем название компании.
Ситуация до начала проекта
В компании регулярно проводились онлайн-встречи с клиентами, партнерами и внутренними командами. Записи хранились в корпоративной системе и могли использоваться позже для уточнения договоренностей, решений и поставленных задач.
Однако получить информацию из архива было непросто. Если сотруднику требовалось выяснить, о чем договорились на конкретной встрече, какие сроки обсуждались или кто отвечал за определенную задачу, ему приходилось самостоятельно искать нужный ролик и просматривать его.
Такой подход приводил к нескольким ограничениям:
сотрудники тратили время на просмотр длинных видеозаписей встреч;
найти реплику было сложно без точного понимания, на какой встрече она прозвучала;
накопленный архив практически не использовался как источник информации.
Поэтому компании потребовался инструмент, который мог бы автоматически извлекать содержание из видео и предоставлять к нему быстрый поиск.
Цель и задачи
Цель проекта — создать единый сервис для автоматической обработки записей встреч и поиска нужной информации по их содержанию.
Задачи:1
Автоматизировать загрузку видеозаписей, извлечение аудио и транскрибацию речи.
2
Реализовать поиск по содержанию встреч по смысловому контексту.
3
Создать интерфейс для просмотра транскрибаций и найденных фрагментов.
4
Развернуть решение внутри корпоративной инфраструктуры компании.
Решение
Архитектуру построили вокруг трех ключевых элементов: фонового сервиса обработки, веб-интерфейса для сотрудников и векторного хранилища данных.
Автоматическая обработка записейДанные хранятся в корпоративном хранилище Битрикс24. Когда пользователь добавляет новую видеозапись на диск проекта, система автоматически начинает ее обработку.
Фоновый сервис через API подключается к Битрикс24, получает нужную информацию и загружает видео на сервер. Затем из видео извлекается аудиодорожка и отправляется в систему распознавания речи.
После обработки сервис сохраняет расшифровку и дополнительные данные, которые нужны для поиска и связи текста с исходной видеозаписью. Сотруднику не нужно вручную переносить файлы между системами — достаточно загрузить видео, после чего вся дальнейшая обработка запускается автоматически.
Ключевой возможностью сервиса стал поиск по содержанию встреч. Сотрудник вводит вопрос или описывает, какую информацию хочет найти, в веб-интерфейсе. Система сравнивает запрос с фрагментами обработанных записей и показывает наиболее подходящие результаты.
В результатах поиска пользователь видит:
нужный фрагмент расшифровки;
время, на котором он находится в записи;
информацию об исходной записи;
возможность открыть или скачать исходный файл.
Для такого поиска мы использовали векторное представление текста. Благодаря этому система понимает смысл запроса и может находить нужные фрагменты, даже если в записи информация сформулирована по‑другому.
Например, сотрудник может искать информацию о сроках запуска проекта, даже если на встрече использовалась другая формулировка. При поиске система сопоставляет запрос пользователя с сохраненными фрагментами и выдает наиболее релевантные результаты.
Пользователю достаточно описать, что именно он ищет и перейти к подходящему фрагменту
Работа с записями не ограничивается поисковой выдачей. При необходимости сотрудник может открыть конкретную встречу и посмотреть ее полную транскрибацию.
В расшифровке также можно уточнить имена спикеров. Это особенно полезно для встреч с большим количеством участников, когда автоматическая транскрибация определяет реплики, но не может достоверно установить, кому именно они принадлежат.
При повторном открытии записи сервис отображает ранее сохраненные имена участников.
При создании интерфейса мы исходили из того, что пользователю не нужно разбираться в том, как устроена система. Сотруднику не важно, какая модель распознает речь, где хранится файл и как работает поиск.
У пользователя есть два основных действия: найти нужную информацию или открыть конкретную запись. В веб-приложении доступны:
поиск по содержанию встреч;
просмотр найденных фрагментов с указанием времени;
переход к исходному видео;
просмотр полной расшифровки;
изменение имен спикеров;
сохранение изменений.
В итоге все основные действия доступны в одном месте: пользователь находит нужный фрагмент, при необходимости открывает соответствующий момент видео и исправляет данные расшифровки.
Работа внутри корпоративного контураЕще одним важным требованием была защита информации. Видеозаписи встреч могли содержать внутренние и конфиденциальные данные, поэтому мы не могли передавать их во внешние сервисы.
Для проекта мы развернули систему на отдельном сервере с GPU внутри инфраструктуры заказчика. Благодаря этому все материалы обрабатываются и хранятся внутри корпоративной сети, а заказчик сохраняет полный контроль над данными на всех этапах работы системы.
Результат
Мы разработали ИИ-сервис, который превращает архив видеозаписей встреч в структурированную базу знаний с поиском по содержимому.В результате:
сократилось время, необходимое на поиск данных в видеозаписях встреч;
конфиденциальная информация остается внутри ИТ-инфраструктуры компании;
упростилась работа с записями, как с источником рабочей информации.
Теперь сотрудникам не обязательно помнить название нужной встречи, ее дату или конкретный момент разговора. Достаточно описать интересующий вопрос — сервис самостоятельно сопоставит запрос с содержанием обработанных записей и покажет подходящие фрагменты.
Для руководителей и участников встреч это дает возможность быстрее восстановить контекст обсуждения, найти договоренности и поставленные задачи, не просматривая видеозапись от начала до конца.
