Общий порядок загрузки данных — различия между версиями

Версия 11:19, 4 июля 2013

Используемые технологии

Передача данных из АИС РГ в ИУС-ГАЗ осуществляется на базе Веб-сервиса, предоставляемого АИС РГ.

Для коммуникации используются:

• коммуникационный интернет-протокол HTTP;
• протокол для управления сообщениями в универсальном XML-формате — Simple Object Access Protocol (SOAP);
• язык для описания интерфейсов взаимодействия компонент распределенной системы — Web Services Description Language (WDSL).

Для описания методов, предоставляемых сервисом, и поддерживаемых протоколов используется файл в формате WSDL. Адаптер ИУС-ГАЗ вызывает методы веб-сервиса, отправляет запросы и получает результат запросов. Настройка параметров взаимодействия проводится при развертывании и настройке ИУС-ГАЗ.

Общий порядок загрузки данных из АИС РГ

Поскольку ИУС-ГАЗ является диспетчерской системой, в первую очередь импортируются текущие объекты учета (справочники ГРС, ГРО, площадки, точки подключения, планы поставок). В терминах АИС РГ это означает, что в большинстве случаев данные забираются из регистров, где между объектами имеется связь, объекты не помечены на удаление, и берется СрезПоследних данных регистров.

История изменения состояний объектов АИС РГ в общем случае не является целью импорта в ИУС-ГАЗ, поэтому, если имеется реестр и возможность получить актуальные данные, будут импортироваться именно они (имеются признаки ЕстьСвязь, Установлено, Активно и тому подобные, в зависимости от контекста).

В качестве идентификатора импортируемых данных используется UID (UUID, GUID).

Проблема некорректности загружаемых данных

При загрузке данных из АИС РГ в ИУС-ГАЗ возникает множество проблем, связанных с некорректностью входных данных. Предпринимается попытка загрузить максимальное количество данных, включая объекты, содержащие некритические с точки зрения текущей бизнес-логики ошибки. Некорректные данные помечаются специальным образом и доступны в интерфейсе ИУС-ГАЗ для просмотра и отбора. Также доступно представление проблем, возникших при импорте данных, в виде отчёта.

Некорректными считаются данные, которые нарушают текущую логику учёта газа, согласно методологии МРГ. Прежде всего, речь идёт о нарушении ссылочной целостности и взаимосвязи объектов. Например, площадка, для которой нет потребителя, является некорректной, так как согласно логике учёта газа площадка без потребителя не может существовать.

Конкретные варианты некорректности данных (типы ошибок) для большинства загружаемых типов, а также указания по локализации проблем и способы их устранения описаны в отдельно.

Любой тип ошибки (код, номер) может быть полностью исключён из проверки с помощью опции конфигурации ais.ws.muteErrors и не будет показываться ни в отчёте, ни в АРМе. Решение об исключении того или иного типа ошибки может быть принято, например, если некорректность данных не является критичной для взаимодействия двух систем. Характерным примером может быть ведение районов на площадках. Если район никогда не вёлся для площадок в АИС РГ, этот атрибут не является критичной ни для какой ключевой логики ИУС-ГАЗ и компания не планирует проводить аналитику по данному разрезу в будущем, можно отключить и не проверять данный атрибут на заполненность

Маркировка данных с ошибками

Использование отбора для поиска ошибок импорта

При получении некорректных данных в ИУС-ГАЗ предпринимается попытка сохранить объект в базе данных, для чего в него вносятся изменения. Например при не заполненности (или если он не найден на момент импорта) одного из атрибутов на который он ссылается, если возможно, предпринимается попытка подставить туда значение "Не определено". Например, при получении УУГ, в котором не заполнена площадка, предпринимается попытка сохранить его, подставив в поле площадки значение с id=0 ("Не определено"). В случаях, когда для таких замещений не предусмотрено значения "не определено", сохранение таких импортируемых объектов невозможно.

Обратите пожалуйста внимание на слова "если он не найден на момент импорта". Импорт осуществляется последовательно, по одному типу объектов за операцию. Таким образом, ошибки могут быть каскадны! Например, если не загрузилась площадка из-за ошибки, также будет ошибка и в УУГ, который на неё будет ссылаться, и в корректоре, который сошлётся на данный УУГ и т.д.

Чаще всего измененные и сохраненные таким образом объекты частично или полностью теряют свой смысл. Продолжая пример выше, УУГ без площадки не принадлежит потребителю и не понятно кто будет платить за это газ.

Имена объектов, которые сохранены не смотря на произошедшую ошибку, в обязательном порядке предваряются меткой в формате: "Error:Код: ", где:

• Error - фиксированная часть, основное ее назначение - подсветить ошибки в интерфейсе ИУС-ГАЗ и предоставить удобный поиск некорректных данных с использованием фильтров.
• Код - код ошибки по которому в разделе Налагаемые требования целостности, коды ошибок можно найти подробное описание проблемы и запрос поиска таких объектов в АИС РГ

Данные с некорректными датами

В общем случае корректными считаются даты после 1 января 1945 года ("1945-01-01")^[1].

Особым случаем считается дата "0001-01-01" ("пустая" дата в терминах АИС РГ). "Пустые" даты пропускаются, если параметр не должен быть обязательно заполнен.

Дубликаты

Дубликатом (дублем) считается именно дубликат загружаемого из АИС РГ мастер-объекта. При этом сверяются не названия и какие-то атрибуты объектов, а UID объектов или Ссылки в терминах АИС РГ.

Чаще всего дубли возникают, когда данные загружаются из реестров, по которым возможна множественная связь одних объектов с другими. Яркий пример - один и тот тот же корректор одновременно установленный на нескольких УУГ.

При импорте загружается только первый объект, имеющий дубли, остальные пропускаются. Причем под "первым" объектом в данном случае имеется ввиду именно первый объект по выгрузке, то есть условия сортировки в каждом конкретном случае определяются запросом, и первым не обязательно будет актуальный объект.

Удалённые (помеченные удаленными) объекты

Объекты, помеченные на удаление в АИС РГ, обрабатываются следующим образом:

• Если таких объектов не было в ИУС-ГАЗ, то при первоначальном импорте они игнорируются.
• Если приходит объект, который ранее уже был импортирован, и в данный момент он помечен на удаление, то объект помечается на удаление в ИУС-ГАЗ. Все остальные изменения применяются также.
• Если объект был уже помечен на удаление в ИУС-ГАЗ (согласно предыдущему пункту), а при очередном импорте он приходит не удаленным, то такой объект снова возвращается в ИУС-ГАЗ (пометка удаления снимается).
• Объекты, фактически удаленные в АИС РГ (а не помеченные на удаление), а также переставшие быть активными (и значит просто не приходящие для обновления на текущий момент), по умолчанию^[3] не трогаются вовсе. Они могут быть оставлены как есть, или удалены вручную. Рекомендуется, если объект в АИС РГ помечается на удаление, выполнить импорт таких объектов в ИУС-ГАЗ, чтобы в ИУС-ГАЗ эти объекты также пометились на удаление.

С версии версии 17.0 появилась возможность их скрывать. Но во избежание неожиданностей (данное поведение рассматривается как опасное) и для обратной совместимости требуется явное включение данного поведения для каждого типа объектов где это желательно. За это отвечает опция конфигурации ais.ws.dvisAbsent. Для любого типа объектов это может быть включено по запросу.

Таким образом, доступна синхронизация удаления объектов двух систем.

Следует обратить внимание, что в большинстве запросов удаленные объекты исключены для выверки. Однако если объект был импортирован в ИУС-ГАЗ, а затем удален, то объект будет учтён в запросе и будет появляться в отчетах об ошибках.

Связывание на общие справочники

В ИУС-ГАЗ ведутся глобальные справочники некоторых объектов (трансгазов, региональных газовых компаний, групп отраслей, отраслей, субъектов РФ, моделей вычислителей и так далее).

Для целей синхронизации с АИС РГ это означает, что данные из справочников Территории, Группы отраслей, Отрасли загружаются как Прототипы Метаданных и требуют связки на глобальные справочники ИУС-ГАЗ.

До того как импортированные данные будут связаны, во время загрузки ссылающихся на них объектов будут появляться ошибки. Ответственность за связывание ПМ возлагается на представителей РГК.

Исправление проблем

Ошибки в именах должны пропасть, а объекты связаться соответствующим образом.

Обратите пожалуйста на каскадную природу ошибок и очерёдность исправления проблем и перезагрузки элементов.

Проблемы на стороне АИС РГ

Большинство проблем должно быть исправлено на стороне АИС РГ, затем такие данные должны быть импортированы в ИМУС снова.

Проблемы на стороне ИУС-ГАЗ

Также, имеется пласт ошибок, в основном имеющих суффикс в коде ошибки "_1" относящихся скорее к разности схем, и требующих вмешательство на стороне ИУС-ГАЗ. Характерным примером является невозможность в ИМУС связать вместе ТП и площадку, если у площадки нету канала. Таким образом, требуется наличие полного тракта Площадка -> УУГ -> корректор -> канал). Т.к. для АИС РГ чаще всего не желательно вести или генерировать структуру с такой детализацией, данные сущности могут быть сгенерированы в ИУС-ГАЗ.

Перезапрос данных, команды внешних систем

Меню отправки команд во внешние системы

Большинство команд адаптера имеют соответствующий пункт в меню команд внешних систем^[4].

Перезапрос данных осуществляется следующим образом:

1. На форме "Внешние системы" (пункт дерева раскрывать не надо) в АРМ ИУС-ГАЗ выбирается внешняя система АИС (для удобства можно воспользоваться фильтром типа систем в верхнем правом углу, выбрав там тип "Учётная система")
2. На вкладке "Редактор" формы "Внешние системы" выбирается команда "Команды – Команды учётных систем" (Рисунок 2).
3. Выбирается команда загрузки необходимых данных.
4. В появившемся модальном окне заполнить необходимые параметры, если есть^[5] и нажать кнопку "Отправить команду (ы)".
5. Откроется окно лога, в котором вы увидите сообщения об отправке команды, доставки ее адаптеру и затем краткую сводку о выполнении: Сколько объектов загружено, сколько ошибок и т.д.

Следует обратить внимание, что процедура загрузки объектов может быть весьма продолжительной (загрузка планов может занимать десятки минут в зависимости от запрошенного периода)

Для удобной отправки одной и той же команды на сервере, можно использовать утилиту amq-command

Отчёт о состоянии синхронизации

В целях упрощения анализа текущего состояния импорта объектов реализован отчёт^[6].

В том же меню отправки команд во внешние системы в подменю "Дополнительно" наличествует пункт "Отчёт о состоянии" (Report).

Команда «Отчет о состоянии» отправляет по списку электронных адресов, указанным в ais.ws.report.to^[7].

Отчёт, содержит в письме краткую сводку по наличию ошибок импорта, версиях установленных компонентов и некоторых других метрик. К письму приложен архив с файлом html, который содержит в интерактивной форме описание каждой произошедшей проблемы и описание каждой ошибки. Все элементы имеют всплывающие подсказки для того чтобы его можно было читать без дополнительных средств анализа.

Генерация структуры вниз

Генерация структуры вниз

Генерация структуры возможна от Площадки, Узла или Корректора.

В общем случае, просто необходимо выбрать объекты для которых предполагается сгенерировать потомков, и из контекстного меню выбрать пункт "Генерировать вниз".

Особенности алгоритма генерации:

• Операция не деструктивна, и всегда генерирует только 1 прямого потомка (УУГ для площадки или Выхода ГРС, корректор для узла, канал для корректора). Таким образом может быть выполнена несколько раз для одного и того же объекта - дублей создаваться не будет.

Однако стоит заметить что для большого количества объектов это может потребовать значительного времени выполнения. Пользуйтесь спецфильтрами для отбора элементов без потомков!

• Генерация останавливается на первом потомке, если он есть. Так, если имеется Площадка с узлом она будет пропущена при генерации от Площадки. Необходимо будет выполнить такую операцию от узлов и корректоров соответственно, если там могут быть элементы без потомков также.
• В момент генерации будет выведено диалоговое окно с вопросом как формировать имена генерируемых элементов.
• Чтобы иметь возможность отличать объекты фактически импортированные из АИС РГ и генерированные, в поле объекта "Ид. во внешней системе" дописывается префикс "gen:"

В случае, если в АИС РГ вообще не ведётся структура ниже площадок, адаптер имеет команду автоматической генерации всей недостающей структуры, которая может быть также настроена на автоматическое регулярное выполнение.

Ответственными за структуру и в том числе за генерацию недостающих элементов являются представители РГК.

В общем случае не стоит генерировать потомков для всех подряд! Если вы знаете что площадка телеметризирована и завтра-послезавтра для неё будет создан УУГ в АИС РГ - лучше подождать. Иначе, когда импортируется реальный узел - появится смысловой дубль элемента, который придётся искать и удалять вручную[8]

Примечания

1. ↑ предполагается что в базе не может быть валидных объектов с датами ранее этой
2. ↑ Весьма не удобным способом правда, около 8 кликов мышкой требуется, но тем не менее такая возможность имеется
3. ↑ С версии версии 17.0 появилась возможность их скрывать. Но во избежание неожиданностей (данное поведение рассматривается как опасное) и для обратной совместимости требуется явное включение данного поведения для каждого типа объектов где это желательно. За это отвечает опция конфигурации ais.ws.dvisAbsent
4. ↑ Доступ к тем или иным командам может гибко настраиваться администратором системы на основе доступных ролей, таким образом не все могут быть доступны каждому пользователю и/или АРМу. Возможность доступна с версии 1.3.34.
5. ↑ Большинство команд не имеют параметров. Параметрами могут быть например диапазон дат запроса планов
6. ↑ С версии 1.3.40 адаптера ИУС-ГАЗ и с версии 13.0 веб-сервиса АИС РГ
7. ↑ С версии 17.0 и АРМ 1.5.70 доступен ввод получателя в момент запроса из АРМ
8. ↑ Ранее это можно было сделать только вручную, а при массовых чистках по запросу к нам. С версии 17.0 реализован режим замещения, но пользоваться им также нужно с осторожностью (в общем случае не рекомендуется)