Применение средств виртуальной реальности при создании комплексных тренажёров и систем управления

В.Г. Борисов,

с.н.с., к.т.н., lab57_1@ipu.rssi.ru,

С.К. Данилова,

в.н.с.,к.т.н., lab57_1@ipu.rssi.ru,

В.О. Чинакал,

с.н.с., к.т.н., chinakal@ipu.rssi.ru,

ИПУ РАН, г. Москва

Аннотация

Рассмотрены особенности создания и возможности использования средств виртуальной реальности (СВР) при создании комплексных тренажерных систем (КТС) и систем управления (СУ) морскими подвижными объектами (МПО). Определена структура подсистемы СВР, представлены примеры использования экспериментальной версии программного обеспечения СВР при реализации конкретных проектов построения КТС и СУ МПО.

Abstract

Considered particularities of the creation and possibility of the draft on funds virtual reality (SVR) when making the integrated training systems (ITS) and control systems (CS) by Maritime Mobile Vehicles (MMV). In the report is defined the structure of the subsystem SVR, are presented examples of the use of experimental version of the software SVR at realization concrete project buildings of ITS and CS MMV.

1. Введение

Совершенствование и усложнение современных морских подвижных объектов, сложность решаемых ими задач и наличие большого числа технических средств управления (ТСУ) предъявляет повышенные требования к созданию современных систем управления (СУ) МПО и обеспечению повышенной безопасности управления данным классом объектов при их эксплуатации. Реализация этих повышенных требований осуществляется на различных этапах жизненного цикла МПО, включая этапы проектирования МПО, ТСУ и СУ, проведения испытаний функционирования работы различных подсистем и объекта в целом, эксплуатации МПО и подготовки высококвалифицированных операторов основных постов управления МПО. В настоящее время при создании перспективных СУ МПО и проведении модернизации действующих СУ МПО целесообразно использовать современные компьютерные технологии и мощные средства полномасштабного имитационного моделирования, реализуемые на базе специализированных сетевых компьютерных комплексов [1]. Для обеспечения подготовки и переподготовки операторов различных постов управления создаются и используются различные тренажерные системы, включающие выполненные на современном уровне натурные, полунатурные и компьютерные тренажеры (КТ).

Отдельные сетевые компьютерные тренажеры, предназначенные для подготовки операторов различных постов управления, могут объединяться в комплексные тренажерные системы, обеспечивающие отработку координированного управления МПО. В качестве дополнительной подсистемы КТ могут встраиваться в общую интегрированную систему управления МПО [2], обеспечивая не только возможности постоянного тренажа операторов, но и обеспечивая эффективную поддержку принятия решений при непосредственном управлении МПО.

На базе исследований, выполненных в ИПУ РАН по созданию и применению современных компьютерных технологий в области управления сложными подвижными объектами, были определены основные общие требования к построению на общей концептуальной основе прототипов перспективных систем управления МПО, разработке систем ителлектуальной поддержки принятия решений (ИСППР) при управлении МПО, созданию современных систем обучения операторов и различных тренажерных систем. Существенной особенностью создаваемых прототипов СУ и ИСППР является применение в них элементов искусственного интеллекта, экспертных систем реального времени и наличия общей компьютерной подсистемы для создания фрагментов виртуальной реальности (ВР). Программные средства создания ВР обеспечивают пользователю эффект не «приборного», а непосредственного «живого» участия в управлении объектом, личного «присутствия» оператора при работе всех систем и технических средств управления. И в нормальных и, особенно, в аварийных режимах эксплуатации МПО средства ВР обеспечивают более высокий «интеллектуальной» уровень поддержки работы операторов, предоставляют оператору 2-х и 3-х мерные образные представления о функционировании объекта, систем управления МПО, работе ТСУ и оставшихся ресурсах управления. Средства ВР дают визуальные отображения пространственного и плоскостного поведения объекта, отображают запланированные и фактические траектории движения МПО, а также предельно допустимые траектории и диапазоны безопасного управления МПО с учетом состояния самого объекта, предсказанной траектории движения МПО и изменения внешней обстановки. Однако, для успешной разработки программного обеспечения (ПО) подсистемы ВР, необходимо обеспечить решение проблем, связанных с трудностями проектирования и реализации сложного сценария работы ВР проектантами эффективностью использования возможностей ВР пользователем.

Построение сложных сценариев работы ВР обусловлено, с одной стороны, сложностью решения комплекса задач для обеспечения высококачественного координированного управления всеми подсистемами современных МПО в различных режимах и ситуациях, с другой стороны, требованиями реализации для различных пользователей только необходимых фрагментов ВР в зависимости от соответствующих режимов, состояний и ситуаций. Для разработчика является достаточно сложным и трудоемким обеспечение пользователю простого, удобного и «дружественного» интерфейса с ВР в процессе проектирования, программирования и возможной последующей модификации полного детального сценария работы подсистемы ВР.

От разработчика требуется достаточно большие трудозатраты при разработке подсистемы ВР с применением традиционных подходов и программных средств, ориентированных на «задачно-функциональный» принцип создания последовательного описания сцен, фрагментов ВР, условий перехода между ними и воспроизведения сценариев с традиционной «визуализацией» в виде отдельных задач. Необходимо не только выполнить программирование отдельных программных модулей и задач «визуализации», но и провести детальное тестирование их работы, выполнить проверки всех условий запуска различных модулей и соответствующую программную реализацию сложного «дерева решений», а затем провести общее комплексное тестирование ПО.

Фактически основные проблемы и сложности построения, реализации и модификации общих детальных сценариев переносятся на уровень программирования отдельных задач, модулей и реализации дерева решений. Использование вложенных сценариев и обычных инструментальных средств – различных редакторов сценариев, конфигураторов и т. п. конечно же позволяет ускорить процесс создания сложных сценариев. Однако, такой подход принципиально требует от программистов, не только высочайшей профессиональной подготовки, но и детального понимания всех режимов управления МПО, проработки заранее большого числа возможных ситуаций и знания многих других особенностей возможных вариантов решения сложных задач управления МПО.

2. Основной подход к созданию подсистем виртуальной реальности

В работе развивается другой подход, ориентированный на формирование и исполнение динамических сценариев (ДС) работы ВР в процессе их работы в зависимости от запросов пользователей, режимов управления и текущих оценок альтернативного состояния объекта и внешней обстановки. Данный подход является дальнейшим развитием предложенной в [3] идеи формализованного разделения общей постановки решения сложных задач на этапы, соответствующие техническим, математическим, алгоритмическим описаниям и программной реализации решения задач. Связь этапов организуется путем формирования внешнего (описательного) и внутренних (рабочих) представлений сценария с использованием формализованных описаний (ФО), включающихся исходную информацию для различных задач, ситуаций, событий, условий и последующей их интерпретацией с учетом требований на визуальную поддержку и интерфейс. Распространение формализованных описаний для описания сеансов, сцен, видеокадров и фрагментов на подсистему компьютерной реализации ВР позволяет формировать ДС и выполнять его в зависимости от условий по альтернативным ветвям динамических сценариев [3,4,5]. На основе такого подхода была разработана методика и прототип программного обеспечения для проверки основных функций построения динамических сценариев сеансов ВР, построенный с использованием моделей типовых объектов и конфигурирования параметров сеансов.

При построении динамических сценариев работы ВР предлагается использовать:

· формализованные описания (ФО) событий, объектов, состояний, ситуаций, режимов управления и визуализации, решаемых задач, заданных целей и ограничений, вероятных гипотез о состоянии объекта, работе ТСУ и внешней обстановке;

· экспертную систему реального времени (ЭС РВ) с базами данных (БД) и базой знаний (БЗ);

· специализированное программное обеспечение для формирования текущих фрагментов ДС для работы ВР.

Практическая реализация подсистемы ВР ориентирована на использование мощных стандартных технических средств, современных системных, сетевых и инструментальных программных продуктов и проведение разработки специального прикладного программного обеспечения на основе объектно-ориентированного подхода и единых требований по интерфейсу.

В соответствии с разработанной методикой общий сценарий построения описание серии сеансов ВР включает в себя:

1. Иерархическое описание полного сценария создания и исполнения серии сеансов ВР, состоящей из вложенных, взаимодействующих друг с другом частных сценариев, условно разделенных на три основные группы:

1. Стратегические сценарии, содержащие укрупненные описания формирования и выполнения основных последовательностей сеансов ВР в серии с учетом типовых шаблонов сеансов и основных параметров запроса на построение и проведение сеанса;

2. Тактические сценарии динамического формирования и исполнения сеансов ВР, как последовательностей условного или безусловного выполнения сцен и переходов в каждом сеансе с учетом текущих значений модификаторов типовых шаблонов;

3. Рабочие микросценарии формирования и исполнения отдельных фрагментов сцен сеансов ВР в задаваемых слоях с использованием типовых статических и динамических элементов 2D и 3D визуализации, послойных фоновых изображений, командных последовательностей, условных и безусловных микропереходов, формируемым по различным событиям, связанным с выполнением сцен.

При формировании переходов между сценами ВР проверяется ряд условий типа:

· начало показа i – го фрагмента j-ой сцены в слое k;

· продолжение показа i – го фрагмента j-ой сцены в слое k;

· приостанов показа i – го фрагмента j-ой сцены в слое k;

· возобновление показа i – го фрагмента j-ой сцены в слое k;

· прекращение показа i – го фрагмента j-ой сцены в слое k;

· переход к показу l – го фрагмента m- сцены в слое n.

Структуры сценариев соответствуют сетям Петри. Фрагменты сцены могут состоять из различных объектов. Объекты могут быть простыми и сложными. Простые объекты образуют примитивы, типа различных линий, заполненных контуров, текстов и кнопок. Каждый из простых объектов имеет набор статических и анимационных свойств, влияющих на его внешний вид (цвет, толщина, тип линии, цвет заполнения, высота, ширина, ориентация и т. п.). Сложные объекты формируются из простых объектов, и могут быть типа:

· «символ», который обрабатывается как один объект и любые изменения статических или динамических свойств влияют на все его составляющие;

· «компонент» - совокупность 2-х или более объектов, символов или других компонентов, образующих общий элемент, сохраняющий пространственную взаимосвязь между составляющими его элементами;

· «мастер-объект» - сконфигурированный компонент с заданными статическими и динамическими свойствами, помещенный в библиотеку мастер-объектов и доступный для многократного использования.

рис.1. Функционирование подсистемы ВР в составе ИСППР интегрированного комплекса

В соответствии с принятым подходом клиентами подсистемы создания ВР могут быть различные задачи пользователей из различных подсистем СУ или тренажера, формирующих по сети запросы к подсистеме ВР. На рис.1. приведены основные функции подсистемы ВР, входящей в состав ИСППР интегрированного комплекса управления МПО. Подсистема ВР имеет свои базы данных (БЗ), но может при необходимости использовать программное обеспечение общей экспертной системы реального времени (ЭС РВ) и базу знаний (БЗ) для модификации и реконфигурирования шаблонов своих сценариев. На рис.2. приведена укрупненная функциональна схема тренажера, в котором общая подсистема ВР активно используется при работе программ на рабочем месте инструктора (РМИ) и рабочих местах обучаемых (РМО), а для модификации шаблонов своих сценариев использует общий конфигуратор сценариев тренажера. На рис.3. приведена краткая функциональная схема и состав основного программного обеспечения подсистемы ВР. Работа ВР происходит следующим образом.

По локальной сети 1 монитор подсистемы ВР получает от монитора ИСППР запрос-заявку она отработку выполнения некоторого сценария решения задачи с использованием средств ВР, например, отработку оператором на РМО режима пространственного маневрирования МПО. Монитор ВР с использованием программных компонентов ПО ВР управляет выполнением последовательности обработки в соответствии с анализом запроса, выбранным и сконфигурированным шаблоном сценария, с учетом выполнения модификации параметров сценария и текущих оценок условий и ситуаций, определяемым по оперативным (или архивным) данным. В число оценок входят и оценки состояния объекта, ТСУ, СУ, внешней обстановки и действий операторов. Назначение основных программных компонентов ПО ВР отражено в названиях соответствующих блоков на рис.3.

На основе анализа параметров запроса и рабочих данных о состоянии МПО, ТСУ, СУ и внешней среде формируются задания для системы имитационного моделирования (СИМ), геоинформационной системе (ГИС) и экспертной системе реального времени ЭС РВ. Данные от СИМ поступают клиенту вместе с данными от ГИС и ЭС РВ, включая сообщения об алармах и неправильных (или рекомендуемых) действиях операторов. После окончания выполнения сценария формируются соответствующие оперативные и архивные документы о работе СУ МПО, или работе РМО и РМИ после выполнения сеанса обучения или подготовки и проверки нового сценария.

рис. 2. Укрупненная функциональна схема тренажёра с подсистемой ВР

3. Примеры динамического построения и отображения

виртуальной реальности для оператора управления движением МПО

На рис. 4 - 6 представлены примеры видеокадров, генерируемых подсистемой ВР при использовании ее в составе тренажёра. НА рис. 4 представлена виртуальное отображение варианта построения пультов управления для СУ гипотетического МПО. Каждой панели пульта на рабочем месте оператора поста управления МПО, или рабочих местах РМО и РМИ соответствует одна или несколько виртуальных операторских панелей, которые пользователь может вызвать в любой момент времени. На рис.5 отображен вариант виртуального отображения видеокадра для работы оператора РМО на виртуальном макете 2-го пульта управления МПО. Оператор отрабатывает алгоритмы пространственного ручного управления МПО с помощью одновременного управления кормовыми горизонтальными и вертикальными рулями на основе виртуального представления информации о параметрах движения МПО, текущей и прогнозируемой ситуации, состоянии ТСУ и наблюдения виртуального перемещения объекта и работы его основных технических средств. Для существенного улучшения восприятие и оценки операторами поступающей концентрированной оперативной информации при реализации подсистемы ВР использованы принципы и методы инженерной психологии. На рис. 6 отображен вариант видеокадра для работы оператора РМО на виртуальном макете 3-го пульта управления МПО. Оператор осуществляет пространственное координированное ручное управление МПО по курсу и глубине с помощью четырех ТСУ, управляя положением горизонтальных кормовы и носовы рул, вертикальными рулями и скоростью хода.

рис. 4 Виртуальный макет варианта построения пультов управления МПО

рис. 5 Виртуальный макет варианта видеокадра оператора на 2-м пульте управления МПО

рис. 6 Виртуальный макет варианта видеокадра на 3-м пульте тренажёра оператора управления МПО

Заключение

По мнению авторов, возможна реализация рассмотренного подхода в виде создания типовой подсистемы ВР для отработки новых программно-технических средств управления МПО, реализации интеллектуальных систем поддержки работы операторов, тренажеров и систем обучения операторов. Применение типовой подсистемы ВР может обеспечить значительное сокращение сроков разработок и затрат на создание перспективных систем управления и систем обучения операторов, что позволит повысить эффективность управления морскими подвижными объектами, особенно в нештатных и чрезвычайных ситуациях.

Литература

1. Борисов В. Г., Данилова С.К., Чинакал В.О., Корчанов В. М. Сетевой комплекс для разработки и исследования эффективности систем управления движением подводных объектов. Тр. Международной конференции по морским интеллектульным технологиям «Моринтех-2001», Изд. НИЦ «МОРИНТЕХ», 2001.

2. Borisov V.G., Danilova S.K. Chinakal V.O. About Building of the Integrating System of Navigation, Management and Educating the Operators with Use of Intellectual Methods of Control. //"12th Saint Peterburg International Conference on Integrated Navigation Systems". St Peterburg. 2005. (ISBN 5-900780-59-7).

3. Горвиц Г.Г., Чинакал В.О. Применение методов идентификации, имитационного моделирования и оптимизации в системах поддержки принятия решений. Тр. Международной конф. «.Идентификация систем и задачи управления ». SICPRO ‘2000. Москва. ИПУ РАН. 2000.

4. Борисов В.Г., Данилова С.К., Чинакал В.О. Об одном подходе к построению динамических сценариев создания компьютерной виртуальной реальности применительно к управлению морскими подвижными объектами. Труды ХХХI Всероссийской конференции «Управление движением морскими судами и специальными аппаратами». ИПУ г. Сочи. 2004.

5. Борисов В.Г., Данилова С.К., Чинакал В.О. Разработка системы отображения виртуальной реальности с использованием типовых объектов и конфигурирования. // Труды ХХХII Всероссийской конференции «Управление движением морскими судами и специальными аппаратами». ИПУ РАН, г. Адлер. 2005.