3D информационные технологии в мультимедиа индустрии
Л.Ю.
Забелин,
доц.
каф. САПР, к.т.н., доц., zabelinlu@gmail.com,
Ю.М. Шыырап,
ст.преп. каф. САПР, yuriyshyyrap@gmail.com,
СибГУТИ, г. Новосибирск
В докладе предлагается новый подход к изучению современных
3D информационных технологий, в котором сферическое изображение взято в качестве
базового элемента.
The
report proposes a new approach to the study of modern 3D information
technology, in which a spherical image is taken as the base element.
В настоящее время идет интенсивный процесс
появления технических инноваций в информационных технологиях. Все учебники,
программное обеспечение и технические устройства устаревают довольно быстро.
Стандартные учебники построены по принципу экранных систем, где основным исходным
объектом методики является экран. Экран представляет собой одну из дискретных
единиц для информационных технологий и систем. Например, для плоских
обычных изображений 2D,
для стереоскопических, для многоракурсных (вложенные линзово-растровые изображения),
для панорамных (виртуальные туры). При создании результирующих или
финальных изображений требуются сложные процедуры синхронизации и обработки
исходного материала.
С появлением сферических видеокамер идеология
экранного представления изображения (объекта) кардинально меняется. Необходимо
сферическое изображение рассматривать с точки зрения сигнала, потому что с выхода
этой камеры мы получаем уже готовое сферическое изображение. В него не может быть
вставлено обычное плоское изображение при монтаже и преобразованиях. Предлагается,
за основу исходного базового объекта взять именно сферическое изображение. Это
принципиально новый поход. При этом экранное изображение является частным случаем
сферического изображения. Существующие программные средства, архитектура
устройств и математика MATLAB для обработки изображений используют
матричное представление сигнала. В том числе единичный сигнал тоже
представляется матрицей. Сфера является единичной величиной 3D видеотехники.
Практические занятия сначала выполняются в среде MATLAB
для обычных экранных изображений, в том числе стерео и круговых изображений с
использованием пакета Computer Vision
System Toolbox, который содержит
алгоритмы и инструменты для разработки и моделирования систем компьютерного зрения
и обработки видео. Таким образом, с использованием средств MATLAB изучаются только принципы
создания сферических изображений. Но в этом пакете нет набора инструментов для
работы со сферическими камерами и сферическими изображениями. Нами разрабатывается
свой пакет преобразования изображений на алгоритмах, в основу которых положены сферические
изображения.
Следующий этап после изучения алгоритмов - это
разработка принципов создания приложений
для сферических изображений на С#. Известные OpenCV (библиотека алгоритмов компьютерного зрения, обработки
изображений) и OpenGL(программный интерфейс для
написания приложений), для двумерной и трёхмерной компьютерной графики
используют компьютерно-графический подход, где обычно на экране выделялись
объекты, ракурсы и происходило
распознавания объектов. Но для развития 3D видеотехники встала задача
создания библиотеки 3D сферических изображений
(образов).
Сферическое изображение - это не просто сферический
экран, оно уже рассматривается как объект, и объектом сферического изображения является
сцена. В экранном подходе сцена является проекцией на экран и, таким образом,
получается 2D изображение. Сферическое изображение снаружи является объектом, а изнутри, когда наблюдатель
находится внутри сферического изображения,
сферическое изображение является
панорамным изображением. Теперь необходимо разрабатывать подход к монтажу
сферических видеофильмов, где главным элементом является объект. При экранном
подходе основой всех преобразований является проекция. При сферическом подходе
основой всех преобразований является комбинация и трансформация. Мы имеем
пространство, и нельзя просто вставить объект преобразования, необходимо
учитывать параллакс. В объектном изображении (объектно-пространственное
изображение – экранное представление) нет никакой информации о дальности
объектов. При объектном подходе в случае сферического изображения,
мультимедийная информация (звук, движение и т.д.) должна разделиться соответственно,
на каждый объект. Мы получаем 3D образ (проекция, мультимедиа,
звук, движение). Наш подход основывается на мультимедийных образах. Объект при компьютерно-графическом
подходе является пассивным и для его анимации требуется какой-нибудь «движок». Например,
3ds Max, Cinema 4D и др. Субъект 3D образа имеет активную внутреннюю
природу, и для трансформации и комбинации 3D образов должен сам обладать
интеллектуальной составляющей. Таким образом, использование искусственного
интеллекта является более общим подходом к обработке сферических изображений. С
этой точки зрения необходимы новые подходы и взгляды на современную
классификацию изображений и методов их обработки.
Современные 3D информационные технологии изучаются
в основном с помощью операторных методов. Для обработки изображений и видео студент
изучает интерфейс и функции известных программ, например Photoshop,
Adobe After Effects и
другие. При этом он не понимает, что физически происходит с изображением,
например при увеличении резкости или при размытии исходного изображения. Для
создания трехмерных моделей и анимации изучаются широко известные программы: 3ds Max, Cinema 4D, Houdini,
Autodesk Maya. Принцип тот же, например,
работа с модификаторами никак не связана с пониманием физических изменений
объекта. На кафедре САПР дополнительно используется пакет MATLAB[1].
В Matlab важная роль отводится специализированным
группам программ, называемых toolboxes. Toolboxes — это всесторонняя коллекция функций (m-файлов),
написанных на языке MATLAB для решения определенного класса задач. Компания Mathworks поставляет наборы инструментов, которые используются
во многих областях, включая следующие:
·
Цифровая обработка сигналов, изображений и данных: DSP Toolbox, Image
Processing Toolbox, Wavelet Toolbox, Communication Toolbox,Filter Design
Toolbox — наборы функций, позволяющих решать
широкий спектр задач обработки сигналов, изображений, проектирования цифровых
фильтров и систем связи.
·
Системы управления: Control Systems
Toolbox, µ-Analysis
and Synthesis Toolbox, Robust
Control Toolbox, System Identification Toolbox, LMI Control Toolbox, Model
Predictive Control Toolbox, Model-Based
Calibration Toolbox —
наборы функций, облегчающих анализ и синтез динамических систем,
проектирование, моделирование и идентификацию систем управления, включая
современные алгоритмы управления, такие как робастное управление,
H∞-управление, ЛМН-синтез,µ-синтези
другие.
·
Анализ и синтез географических карт, включая трехмерные: Mapping
Toolbox.
·
Визуализация и представление данных: Virtual
Reality Toolbox —
позволяет создавать интерактивные миры и визуализировать научную информацию с
помощью технологий виртуальной реальности и языка VRML.
·
Средства разработки: MATLAB Builder for
COM, MATLAB Builder for
Excel, MATLAB Builder
for NET, MATLAB Compiler, Filter Design HDL Coder — наборы функций, позволяющих создавать
независимые приложения из среды MATLAB.
·
Взаимодействие с внешними программными продуктами: MATLAB Report Generator, Excel Link, Database Toolbox, MATLAB
Web Server,Link for ModelSim —
наборы функций, позволяющие сохранять данные таким образом, чтобы другие программы
могли с ними работать.
·
Базы данных: Database Toolbox —
инструменты работы с базами данных.
·
Научные и математические пакеты: Bioinformatics Toolbox, Curve
Fitting Toolbox, Fixed-Point Toolbox, Fuzzy Logic Toolbox, Genetic
Algorithm and Direct Search Toolbox, OPC
Toolbox, Optimization
Toolbox, Partial
Differential Equation Toolbox, Spline
Toolbox, Statistic
Toolbox, RF Toolbox —
наборы специализированных математических функций, позволяющие решать широкий
спектр научных и инженерных задач, включая разработку генетических алгоритмов,
решения задач в частных производных, целочисленные проблемы, оптимизацию систем
и другие.
·
Нейронные сети: Neural Network
Toolbox — инструменты для синтеза и анализа
нейронных сетей.
·
Нечёткая логика: Fuzzy Logic
Toolbox — инструменты для построения и
анализа нечетких множеств.
Помимо вышеперечисленных,
существуют тысячи других наборов инструментов для MATLAB, написанных другими
компаниями и энтузиастами.
Отметим только некоторые
области применения MATLAB и Simulink:
ú
обработка изображений и компьютерное зрение;
ú
робототехника;
ú
системы управления;
ú
цифровая обработка сигналов (ЦОС).
Изучение 3D информационных технологий
начинается с современных 3D мультимедиа бытовых и специальных информационных
систем. Затем рассматривается теория следующих разделов:
§ Основные принципы
формирования, обработки и воспроизведения сигналов 3D стереоскопических операторных
систем видеонаблюдения и управления.
§ Операторные анаглифические, затворные и многоракурсные
экранные воспроизводящие устройства.
§ 3D фото, видеосъемка. 3D
фото и видео редакторы.
§ 3D сканирование и 3D
печать.
§ Операторные панорамные и
объектные 3D информационные системы VR.
§ Операторные 3D
информационные технологии дополненной реальности.
§ Форматы хранения и
обработки 3D мультимедиа информации.
§ Формирование интерактивных
баз данных 3D мультимедиа информации
§ 3D информационные
технологии в Web.
§ 3D информационные
технологии в робототехнических системах.
§ Программирование 3D
мультимедиа информационных систем в среде программирования Unity
5.
На кафедре САПР СибГУТИ для
практического изучения 3D информационных технологий разработаны специализированные
устройства и закуплено необходимое оборудование, которое позволяет получить
практические навыки по следующим разделам:
o Формирование, обработка и
воспроизведение сигналов стереопар 3D изображений. Анаглифические
и затворные 3D воспроизводящие устройства.
o Формирование, обработка и
воспроизведение сигналов многоракурсных 3D
изображений. Многоракурсные 3D воспроизводящие
устройства.
o Формирование, обработка и
воспроизведение сигналов панорамных и объектных 3D изображений. Панорамные и
объектные 3D воспроизводящие устройства
o 3D фото, видеосъемка.
Работа с 3D фото и видео редакторами.
o 3D фото и видео Web технологии.
o 3D сканирование физических
объектов и 3D печать.
o Формирование, обработка и
воспроизведение 3D изображений дополненной реальности.
o Программирование 3D
мультимедиа информационных систем в среде программирования Unity
5.
После освоения теории и практической работы
дисциплины 3D информационные технологии студенты выполняют научные исследования
и разработки по следующей тематике:
· Формирование, обработка и
воспроизведение сигналов стереопар 3D изображений. Анаглифические
и затворные 3D воспроизводящие устройства.
· Формирование, обработка и
воспроизведение сигналов многоракурсных 3D
изображений. Многоракурсные 3D воспроизводящие
устройства.
· Формирование, обработка и
воспроизведение сигналов панорамных и объектных 3D изображений. Панорамные и
объектные 3D воспроизводящие устройства.
· 3D фото, видеосъемка.
Работа с 3D фото и видео редакторами.
· 3D фото и видео Web технологии.
· 3D сканирование физических
объектов и 3D печать.
· Формирование, обработка и
воспроизведение 3D изображений дополненной реальности.
· Программирование 3D
мультимедиа информационных систем в среде программирования Unity
5.
Следующим этапом студенты изучают дисциплину « Искусственный
интеллект, самообучающиеся и самоорганизующиеся системы». Она содержит основные
разделы:
· Искусственный интеллект и
интеллектуальные агенты в мультимедиа информационном пространстве. Визуально-адаптивный
искусственный интеллект.
· Принципы и алгоритмы
распознавания и синтеза речи.
· Визуально-адаптивный
искусственный интеллект.
· Машинное обучение.
· Интеллектуальный агент и мультиагентные системы.
· Самообучающиеся и
самоорганизующиеся системы.
· Технологии искусственного
интеллекта в Web.
· Интеллектуальное 3D
мультимедиа информационное образовательное пространство.
После освоения этих курсов и выполнения
научно-исследовательской работы студент
будет готов работать с самыми
современными 3D информационными технологиями.
1.
Рудаков П.И., Сафонов В.И. Обработка
сигналов и изображений. MATLAB 5.x. — М: Диалог-МИФИ, 2000. — 416 с.