Трекинг в All¹Mix для PTZ-камер по протоколу FreeD

Общие положения

FreeD – протокол обеспечивает синхронизацию pan/zoom реальной PTZ-камеры и виртуальной камеры в 3D сцене. Это позволяет использовать All¹Mix в качестве системы дополненной реальности (AR). В настоящее время All¹Mix поддерживает работу в режиме AR с камерами Panasonic AW-UE80, AW-UE100 и AW-UE150, Sony BRC-X1000, Lumens VC-A71P.

Изображение с PTZ-камеры проецируется на специальный объект 3D сцены в режиме "Overlay". Т.е. текстурные координаты "отбрасываются" от виртуальной камеры на этот объект (Camera Mapping) в каждом кадре, а диффузная текстура материала объекта заменяется на видеопоток с реальной камеры

Существует два основных типа использования трекинга по FreeD – протоколу: а) видео с PTZ камеры на заднем плане относительно объектов сцены (режим дополненной реальности) б) видео с PTZ камеры на переднем плане относительно объектов сцены (погружение реальных персонажей/объектов в виртуальную среду)

Оба этих типа реализуются с использованием специальных объектов ("Background" и "Foreground"), которые All'Mix автоматически создает для любой 3D сцены проекта. Медиа, назначенные на эти объекты, всегда отображаются в режиме "Overlay". В зависимости от типа использования трекинга, пользователь назначает видео с PTZ - камеры на "Background" или "Foreground" соответственно. Медиа, назначаемая на "Foreground", разумеется, должна иметь маску прозрачности (альфа-канал).

Настройка аппаратуры (на примере Panasonic AW-UE80 и VC-A71SN)

Настройка камеры осуществляется через интернет. Захват выходного потока рекомендуется осуществлять через платы ввода-вывода серии "FD" (СофтЛаб-НСК) или "BlackMagic".

Задание IP PTZ камеры

Подключите камеру к сети интернет. Настройки камер осуществляются в WEB-браузере. Для этого в адресной строке браузера необходимо набрать IP камеры. IP камеры и IP компьютера, на котором установлен ALL'MIX, должны находиться в одной зоне. Для различных камер задание IP камеры производится по-разному:

1. VC-A71SN имеет IP по умолчанию 192.168.100.100 На компьютере на котором установлен All'Mix необходимо поменять IP на 192.168.100.101 (например). Затем откройте браузер и введите IP-адрес камеры (192.168.100.100) в адресную строку. Введите логин и пароль (по умолчанию: admin/9999). Поменяйте логин и пароль (не обязательно). Поменяйте сетевые настройки камеры, так чтобы IP камеры находился в той же зоне в которой исходно находился IP компьютера, на котором установлен All'Mix (DCHP --> off).

Сохраните (Apply) новые сетевые настройки камеры. Верните сетевые настройки компьютера на котором установлен All'Mix в исходное состояние. Введите новый IP-адрес камеры в адресную строку браузера. Продолжите настройки камеры.

2. [AW-UE80]. Для задания IP камеры используйте специальную утилиту для PTZ камер Panasonic: easy-ip-setup-software.

Найдите камеру (Search), поменяйте сетевые настройки камеры (Network Settings), так чтобы IP камеры находился в той же зоне в которой исходно находился IP компьютера, на котором установлен All'Mix (DCHP --> off). Продолжите настройки камеры (Acces Camera).

! Если прошло более 20 минут с момента, когда выбранная камера была включена, вы не сможете настроить камеру. Рекомендуется выключить камеру, а затем включить ее снова. Это ограничение не распространяется на камеры, которые еще не настроены или были сброшены к заводским настройкам по умолчанию.

Настройка трекинга в установках PTZ камеры

1. VC-A71SN

• В разделе "Tracking data output (FreeD)" снимаем галочку с "Enable".
• Назначаем IP адрес компьютера на котором установлен All¹Mix и порт (например 8888).
• Возвращаем галочку на "Enable".

2. AW-UE80

Tracking Data Output / IP Out

• Устанавливаем режим IP(UDP)
• Помечаем галочкой хотя бы одного клиента, например Client 1
• Назначаем выбранному клиенту IP адрес компьютера на котором установлен All¹Mix
• Назначаем выбранному клиенту Port, например 8888
• Нажимаем кнопку Set

Настройка платы ввода-вывода серии FD

Запускаем FDConfig2 и выставляем частоту кадров такую же как у FreeD камеры

На всех мониторах устанавливаем частоту кадров такую же как у FreeD камеры.

Настройка трекинга в проекте All¹Mix

1. Настройка видео

• добавляем в проект видео с PTZ камеры (Media/Live + FD Boards/FD Input HD)
• назначаем это видео на какой либо слот и кликаем на шестеренку в заголовке этого слота (Edit input).
• в открывшемся окне редактора медиа включаем PTZ Controller
• в свойствах PTZ Controller для NDI (рекомендуется) устанавливается NDI Address. Если выбрано VISCA - IP Address PTZ камеры.

- в свойствах текстуры специального объекта (например с именем 'Reality') должен появиться параметр Tracker on/off

- если Tracker включен, то появляются настройки отслеживания

2. Настройка 3D сцены

• добавляем в проект 3D сцену (Media/3D Scene + SceneName.fbx)
• назначаем эту сцену на какой либо слот и кликаем на шестеренку в заголовке этого слота (Edit input).
• в открывшемся окне редактора 3D сцены выбираем объект <FOREGROUND> или <BACKGROUND> или (если он имеется в этой сцене) заранее созданный специальный объект и назначаем ему в качестве источника видео с PTZ камеры.

• Tracker Port - должен быть таким же как в настройках камеры
• Tracker Parallax - позволяет компенсировать сдвиг оптического центра при поворотах PTZ камеры
• Tracker Offset - меняет начальный угловой сдвиг между виртуальной 3D камерой и реальной PTZ камерой по горизонтали и по вертикали
• Tracker Delay - позволяет задерживать обработку PTZ координат для компенсации задержки, необходимой для обработки видео

Позволяет скачать калибровочный файл FOV-ZOOM

Вызывает диалог настроек калибровки.

Сброс калибровки трекера - при нажатии генерируется калибровочная кривая по умолчанию.

3. Диалог калибровки

• точки на графике можно редактировать перетаскиванием
• если нажать на любую точку, то поворотная камера начинает посылать команды на управление скоростью zoom, пока с камеры не придет нужное значение zoom
• на графике есть выделенная скользящая точка, показывающая текущее состояние камеры
• график сохраняется при сохранении проекта

Создание специального объекта в 3ds Max сцене

Иногда требуется более сложная геометрия специального объекта. Например, когда часть объектов сцены должны быть на переднем плане относительно персонажа (видео с PTZ-камеры), а часть объектов сцены - на заднем плане.

На этот объект должен быть назначен материал с любой исходной диффузной текстурой. Имя материала должно начинаться с знака "!". Текстура материала с знаком "!" в All¹Mix отображается в режиме "Overlay" (в котором текстурные координаты объекта назначаются в каждом кадре особым образом (Camera Mapping). Если в All¹Mix предполагается назначать на этот материал медиа с альфа-каналом, то и исходный материал должен содержать карту прозрачности. Рекомендуется установить значение 100 для самосветимости материала.

Важно: В список доступных для редактирования объектов 3d сцены добавляются только те объекты, название которых (или/и название материала) начинается с символа @. Таким образом в нашем случае имя материала специального объекта должно начинаться с двух символов. Например: !@Reality

Например:

Знаки "@", "!" не отображается в интерфейсе All¹Mix. Например имя объекта @ObjectName отобразится как ObjectName.

Пример работы с AR-проектом All¹Mix

Запускаем AllMix проект Tracking.mixer в режиме презентации (F3)

• Назначаем на Slot 8 камеру из списка Live FD Boards
• Заходим в редактор Slot 8 и включаем PTZ Controller
• В поле адреса выбираем нужную камеру из выпадающего списка

Заходим в редактор Slot 9, где находится 3D сцена Tracking.fbx

Находим специальный объект (Reality) и назначаем:

• Input = Slot8
• Tracker = On