Параллельная обработка данных в системах экологического мониторинга

А.Ю. Ефремов,

н.с.,

Ю.С. Легович,

зав. лаб., к.т.н.,

ИПУ им. Трапезникова РАН, legov@ipu.ru, andre@ipu.ru, г. Москва

Введение

Основной целью системы экологического мониторинга (СЭМ) объекта по уничтожению химического оружия (ОУХО) является автоматизированное получение экологической информации и своевременное обеспечение лиц, принимающих решение, достоверной информацией о содержании отравляющих веществ (ОВ), продуктов их деструкции и общепромышленных загрязнителей в зоне влияния ОУХО.

В соответствии со своим назначением СЭМ должна решать следующие задачи:

- сбор первичной информации, создание и ведение баз данных о состоянии и загрязнении компонентов природной среды;

- формирование на основе первичной информации комплексной оценки экологического состояния природных сред;

- анализ текущей экологической обстановки и прогнозирование динамики ее развития;

- предоставление лицам, принимающим решения, надежной и своевременной информации для принятия плановых и экстренных управленческих решений в области обеспечения экологической безопасности;

1.Типовая структура системы экологического мониторинга.

В процессе реализация проекта к настоящему времени успешно функционирует три объекта уничтожения химического оружия, системы экологического мониторинга которых построены однотипно (рис.1).

Функционально СЭМ состоит из Пунктов Сбора Данных (ПСД) и Центра Обработки Информации (ЦОИ), объединенных в двухуровневую вычислительную сеть.

В качестве пунктов сбора данных используются:

- автоматические стационарные посты контроля (АСПК) атмосферного воздуха, оснащенные автоматическими газоанализаторами;

- передвижные лаборатории (ПЛ) контроля параметров атмосферного воздуха, оснащенные автоматическими газоанализаторами;

Пункт сбора данных представляет собой автономную измерительную подсистему, включающую датчики, измерительные приборы, средства первичной обработки информации. Вся совокупность ПСД распределена в пространстве и обеспечивает СЭМ необходимой экологической информацией на контролируемой территории.

Мониторинг населенных пунктов осуществляется как непрерывно за счет установки на их территории автоматических стационарных постов контроля атмосферного воздуха, так и регулярно за счет маршрутных постов наблюдения – передвижных лабораторий.

Центр обработки информации представляет собой комплекс технических и программных средств, выполняющий следующие функции:

- сбор экологической и технологической информации, поступающей от ПСД;

- обработка, накопление и архивирование данных измерений;

- периодическое формирование информационных сообщений в различные надзорные региональные органы власти;

- информационный поиск и доступ к архивной информации;

- математическое моделирование экологических процессов ближнего переноса и трансформации загрязнений, анализ и прогноз динамики загрязнений;

Структура типовой СЭМ включает набор из n пунктов сбора экологических данных и центра хранения, обработки и анализа информации [1]. ЦОИ выполняет централизованную обработку информации, проводимую на одном выделенном узле вычислительной сети, вне зависимости от местоположения данных (рис.2).

Пункты сбора данных, входящие в конкретную СЭМ, строятся также по типовому принципу с использованием, однотипных датчиков, измерительных приборов, и средств обработки информации

.

Рис.1. Структура системы экологического мониторинга

Узким местом такой архитектуры является:

- высокие требования к пропускной способности каналов передачи данных;

- большая загрузка сервера базы данных ЦОИ рутинными операциями, связанными с непрерывным поступлением информации от пунктов сбора экологических данных, что негативно отражается на скорости выполнения основных функций ЦОИ - анализе текущей экологической обстановки и прогнозированию динамики ее развития, особенно в случае возникновения чрезвычайной ситуации.

2.Анализ работы центральной базы данных в типовой структуре СЭМ.

В типовой структуре СЭМ пункты сбора данных, работающие в автоматическом режиме непрерывно, передают данные в БД, для накопления и обработки. В работе базы данных можно выделить запросы двух типов - регулярных и эпизодических. Регулярные запросы поступают от подсистемы первичной обработки данных, а эпизодические запросы формируются системами вторичной обработки данных.

Первичная обработка данных включает в себя комплекс автоматических или полуавтоматических технологических операций по преобразованию точечной информации. К точечной информации относятся различные данные, характеризующие ту или иную точку пространства в известный момент времени, физически это данные, поступающие по каналам беспроводной связи от ПСД. На этом уровне обработки выполняется однотипный комплекс процедур: сглаживание, фильтрация, нормализация, сжатие, допусковый контроль по заданным значениям предельно допустимых концентраций параметров. Эти операции выполняются постоянно в темпе поступления данных.

В число технологических операций по первичной обработке информации также входят:

- статистическая обработка данных;

- представление данных в виде таблиц фиксированного вида, графиков;

- картографическая привязка точечных данных.

На этапе вторичной обработки данные подвергаются глубокому анализу, который проводит коллектив специалистов-экспертов на основе информации, поступающей из блока первичной обработки. Вторичная обработка включает в себя комплексный анализ пространственных данных на основе:

- численного математического моделирования и получения прогнозных оценок;

- программ расчета ущерба окружающей среде в результате техногенных воздействий;

- программ оценки и прогноза последствий аварийных выбросов отравляющих веществ в окружающую среду.

Анализ работы реальной централизованной базы данных СЭМ объекта УХО в п. Горном Саратовской области, показал, что обработка запросов, поступающих от подсистемы первичной обработки данных, составляют более 80% общей производительности.

Сервер базы данных ЦОИ перегружается рутинными операциями, связанными с непрерывным поступлением информации от пунктов сбора экологических данных, что негативно отражается на скорости выполнения основных функций ЦОИ - анализе текущей экологической обстановки и прогнозированию динамики ее развития, особенно в случае возникновения чрезвычайной ситуации.

2.Архитектура СЭМ с системой локальных удаленных БД

Современные достижения информационных технологий привели к тому, что пункты сбора данных систем экологического мониторинга объектов УХО, начинают оснащаться базами данных реального времени, обладающими средствами для хранения больших объемов информации. Так в ПСД объекта УХО п. Горного обеспечивается хранение данных, поступающих от измерительных приборов в течении 18 месяцев. Таким образом, существуют все условия для передачи функций первичной обработки данных непосредственно в места их получения – ПСД.

При переходе на архитектуру СЭМ с системой удаленных БД (рис.3) удается обеспечить существенное повышение технико-экономических показателей системы за счет экономии ресурсов.

Главное отличие между рассмотренными архитектурами - различные подходы к построению баз данных, составляющих основу СЭМ.

Современные СУБД реляционного типа построены по технологии “клиент-сервер”. Приложение пользователя, выполняемое на компьютере-клиенте, посылает запрос серверу базы данных (SQL - серверу, который собственно и выполняет роль СУБД) на поиск и модификацию данных. Обработка запроса - это процесс трансляции декларативного определения запроса в операции манипулирования данными низкого уровня. Стандартным языком запросов, поддерживаемым всеми современными СУБД, является язык SQL. Приложение пользователя при этом организуется в виде независимого исполняемого модуля со своим интерфейсом, ориентированным на выполнение конкретной работы, что обеспечивает удобство в работе и облегчает освоение. Реляционные системы управления базами данных используют различные внутренние средства, которые обеспечивают доступ к данным с малым временем поиска, выполнение структурированных запросов к базе (на основе языка запросов SQL), средства обеспечения целостности данных, синхронизацию распределенных данных, размещенных на различных узлах сети.

При организации распределенных баз (данные в которой расположены в различных узлах сети) Приложение должно быть организовано по трехуровневой модели: логика обработки данных должна быть вынесена в отдельное Приложение, которое выполняется на сервере. Трехуровневая схема организаций Приложения в архитектуре клиент-сервер означает разделение выполняемого Приложения на 3 части - клиентскую часть, отвечающую за интерфейс, программная часть так называемого промежуточного слоя, реализующую логику и программу - сервер. Проведение вычислений по трехуровневой схеме означает, что клиентская часть выполняется на рабочей станции - клиенте, программная часть промежуточного слоя - на центральном сервере доступа к БД, а программа-сервер - на удаленных компьютерах в форме баз данных.

Функциональная специфика СЭМ заключается в полном отсутствии взаимосвязи между базами данных, расположенными в ПСД, что значительно облегчает реализацию программ промежуточного слоя, а также эффективно организовать процесс параллельной обработки данных.

Преимущества СЭМ с системой удаленных БД данных заключаются в следующем:

- разгружаются каналы связи за счет того, что ЦОИ формирует только SQL запросы в БД пунктов сбора данных и в ответ получает результаты;

- высокий уровень масштабируемости системы для любого количества пунктов сбора данных.

- сокращается время обработки SQL запроса в случае выполнения параллельной работы баз данных ПСД;

3. Организация процесса параллельной обработки данных.

Как было показано выше, основными качествами архитектуры СЭМ являются ее однородность и высокая степень децентрализации, что позволяет рассматривать (СЭМ) как идеальную многомашинную систему предназначенную для параллельной обработки данных [2], которая характеризуется:

- физической удаленностью друг от друга компонентов системы,

- хранения и обработкой данных в месте их создания,

- возможностью использования принципа параллельной обработки данных.

При реализации параллельной обработки в распределенной БД выделяются следующие фундаментальные задачи: коммуникация данных, организация управляющей структуры, статическое и динамическое распределение вычислительных ресурсов, синхронизация и оптимизация процессов.

Реализация архитектуры СЭМ с параллельной обработкой данных потребует установки на компьютерах клиентов в ЦОИ специального программного обеспечения, выполняющего следующие функции:

- управление выполнением структурированных запросов к удаленными базам данных;

- синхронизация выполнения процессов обработки данных;

- управление процессом объединения результатов обработки информации, ведущейся параллельно на разных узлах информационной сети;

4.М2М технологии и структура СЭМ

Бурное развитие беспроводных М2М технологий [3] открывает новые перспективы по организации каналов передачи информации в СЭМ.

 Основные преимуществ системы связи на базе GSM:
 - высокая мобильность канала связи;
 - кодированный цифровой протокол исключает вмешательство со стороны и ложные срабатывания;
 - сотовая связь имеет огромную и постоянно расширяющуюся территорию покрытия.

СЭМ, реализующая принципы параллельных вычислений с системой удаленных БД, обеспечивает значительное сокращение объема передаваемой информации в сети и лучше всего подходят для использования GSM сетей технологии GPRS. Это позволяет уже сегодня применять систему GPRS для организации каналов передачи информации между Центром обработки информации и Пунктами сбора данных в системах экологического мониторинга. Как известно стандарт GPRS не просто обеспечивает высокую скорость передачи данных, но и допускает постоянное виртуальное соединение пользователей с сетью, поддерживая постоянное подключение Пунктов сбора данных к сети GSM.

В результате СЭМ объектов уничтожения химического оружия приобретают качественно новые возможности:

- эффективное использование радиоканала за счет минимизации трафика при передаче данных;

- простота создания дублирующих Центров обработки экологической информации с целью обеспечения высокой надежности при возникновении чрезвычайной ситуации; Без

- отсутствует необходимость создания специализированных каналов связи для объединения в единую информационную сеть СЭМ как отдельных объектов, так и их интеграцию как на региональном, так и на федеральном уровне.

Интеграция на федеральном уровне СЭМ всех объектов УХО позволяет своевременно обеспечить лиц, принимающих решение, достоверной информацией о содержании ОВ, продуктов их деструкции и общепромышленных загрязнителей в зоне влияния объектов УХО для информационной поддержки принятия управленческих решений в области обеспечения экологической безопасности и природоохранной деятельности.

Заключение

СЭМ объекта уничтожения химического оружия на основе архитектуры с параллельной обработкой данных обладает значительными технико-экономическими преимуществами по сравнения с СЭМ традиционной архитектуры: - разгружаются каналы связи, обеспечивается высокий уровень масштабируемости системы для любого количества пунктов сбора данных.

Оценки, проведенные для СЭМ объектов уничтожения химического оружия, показали, что ожидаемое сокращение экономических затрат от перехода на архитектуру с параллельной обработкой данных составит не менее 35%, за счет снижения технических требований к производительности и объемам памяти сервера баз данных ЦОИ.

Использование беспроводной М2М технологии на базе сетей GSM позволяет повысить надежность работы СЭМ, а также простоту интеграции всех СЭМ объектов УХО на региональном и федеральном уровнях.

Литература

1. Ю.С.Легович, Д.Б.Рождественский. Обработка и анализ данных в системе экологического мониторинга объектов по уничтожению химического оружия. //Сборник докладов 8-й Международной конференции "Цифровая обработка сигналов и её применение". –М., 2006, 15-19с.

2. И.В.Прангишвили, Г.Г.Стецюра. Микропроцессорные системы. –М.:Наука, 1980. -238 с.

3. George Lawton, Machine-to-Machine Technology Gears Up for Growth. IEEE Computer, September 2004.