Общий порядок загрузки данных

Используемые технологии

Передача данных из АИС РГ в ИУС-ГАЗ осуществляется на базе Веб-сервиса, предоставляемого АИС РГ.

Для коммуникации используются:

• коммуникационный интернет-протокол HTTP;
• протокол для управления сообщениями в универсальном XML-формате — Simple Object Access Protocol (SOAP);
• язык для описания интерфейсов взаимодействия компонент распределенной системы — Web Services Description Language (WDSL).

Для описания методов, предоставляемых сервисом, и поддерживаемых протоколов используется файл в формате WSDL. Адаптер ИУС-ГАЗ вызывает методы веб-сервиса, отправляет запросы и получает результат запросов. Настройка параметров взаимодействия проводится при развертывании и настройке ИУС-ГАЗ.

Общий порядок загрузки данных из АИС РГ

Поскольку ИУС-ГАЗ является диспетчерской системой, в первую очередь импортируются текущие объекты учета (справочники ГРС, ГРО, площадки, точки подключения, планы поставок). В терминах АИС РГ это означает, что в большинстве случаев данные забираются из регистров, где между объектами имеется связь, объекты не помечены на удаление, и берется СрезПоследних данных регистров.

История изменения состояний объектов АИС РГ в общем случае не является целью импорта в ИУС-ГАЗ, поэтому, если имеется реестр и возможность получить актуальные данные, будут импортироваться именно они (имеются признаки ЕстьСвязь, Установлено, Активно и тому подобные, в зависимости от контекста).

В качестве идентификатора импортируемых данных используется UID (UUID, GUID).

Проблема некорректности загружаемых данных

При загрузке данных из АИС РГ в ИУС-ГАЗ возникает множество проблем, связанных с некорректностью входных данных. Предпринимается попытка загрузить максимальное количество данных, включая объекты, содержащие некритические с точки зрения текущей бизнес-логики ошибки. Некорректные данные помечаются специальным образом и доступны в интерфейсе ИУС-ГАЗ для просмотра и отбора. Также доступно представление проблем, возникших при импорте данных, в виде отчёта.

Некорректными считаются данные, которые нарушают текущую логику учёта газа, согласно методологии МРГ. Прежде всего, речь идёт о нарушении ссылочной целостности и взаимосвязи объектов. Например, площадка, для которой нет потребителя, является некорректной, так как согласно логике учёта газа площадка без потребителя не может существовать.

Конкретные варианты некорректности данных (типы ошибок) для большинства загружаемых типов, а также указания по локализации проблем и способы их устранения описаны в отдельно.

Данные с некорректными датами

В общем случае корректными считаются даты после 1 января 1945 года ("1945-01-01").

Особым случаем считается дата "0001-01-01" ("пустая" дата в терминах АИС РГ). "Пустые" даты пропускаются, если параметр не должен быть обязательно заполнен.

Дубликаты

Дубликатом (дублем) считается именно дубликат загружаемого из АИС РГ мастер-объекта. При этом сверяются не названия и какие-то атрибуты объектов, а UID объектов или Ссылки в терминах АИС РГ.

Чаще всего дубли возникают, когда данные загружаются из реестров, по которым возможна множественная связь одних объектов с другими. Яркий пример - один и тот тот же корректор одновременно установленный на нескольких УУГ.

При импорте загружается только первый объект, имеющий дубли, остальные пропускаются. Причем под "первым" объектом в данном случае имеется ввиду именно первый объект по выгрузке, то есть условия сортировки в каждом конкретном случае определяются запросом, и первым не обязательно будет актуальный объект.

Удалённые (помеченные удаленными) объекты

Объекты, помеченные на удаление в АИС РГ, обрабатываются следующим образом:

• Если таких объектов не было в ИУС-ГАЗ, то при первоначальном импорте они игнорируются.
• Если приходит объект, который ранее уже был импортирован, и в данный момент он помечен на удаление, то объект помечается на удаление в ИУС-ГАЗ. Все остальные изменения применяются также.

• Если объект был уже помечен на удаление в ИУС-ГАЗ (согласно предыдущему пункту), а при очередном импорте он приходит не удаленным, то такой объект снова возвращается в ИУС-ГАЗ (пометка удаления снимается).
• Объекты, фактически удаленные в АИС РГ (а не помеченные на удаление), а также переставшие быть активными (и значит просто не приходящие для обновления на текущий момент), по умолчанию не трогаются вовсе. Они могут быть оставлены как есть, или удалены вручную. Рекомендуется, если объект в АИС РГ помечается на удаление, выполнить импорт таких объектов в ИУС-ГАЗ, чтобы в ИУС-ГАЗ эти объекты также пометились на удаление.

Таким образом, доступна синхронизация удаления объектов двух систем.

Следует обратить внимание, что в большинстве запросов удаленные объекты исключены для выверки.

Связывание на общие справочники

В ИУС-ГАЗ ведутся глобальные справочники некоторых объектов (таких как трансгазы, региональные газовые компании, группы отраслей, отрасли, субъекты РФ, и т.д.).

До тех пор как импортированные для них ПМ не будут связаны - будут появляться ошибки в имеющихся на них при загрузке ссылках.

Исправление проблем

Ошибки в именах должны пропасть, а объекты связаться соответствующим образом.

Обратите пожалуйста внимание на каскадную природу ошибок и очерёдность исправления проблем и перезагрузки элементов.

Проблемы на стороне АИС РГ

Большинство проблем должно быть исправлено на стороне АИС РГ, затем такие данные должны быть импортированы в ИМУС снова.

Проблемы на стороне ИУС-ГАЗ

Также, имеется пласт ошибок, в основном имеющих суффикс в коде ошибки "_1" относящихся прежде всего к маппингу и разности схем двух систем. В таких случаях требуется вмешательство на стороне ИУС-ГАЗ. Характерным примером является невозможность в ИМУС связать вместе ТП и площадку, если у площадки нету канала. Таким образом, требуется наличие полного тракта Площадка -> УУГ -> корректор -> канал). Т.к. для АИС РГ чаще всего не желательно вести или генерировать структуру с такой детализацией, данные сущности могут быть сгенерированы в ИУС-ГАЗ.

Перезапрос данных, команды внешних систем

Меню отправки команд во внешние системы

Большинство команд адаптера имеют соответствующий пункт в меню команд внешних систем.

Перезапрос данных осуществляется следующим образом:

1. На форме "Внешние системы" (пункт дерева раскрывать не надо) в АРМ ИУС-ГАЗ выбирается внешняя система АИС (для удобства можно воспользоваться фильтром типа систем в верхнем правом углу, выбрав там тип "Учётная система")
2. На вкладке "Редактор" формы "Внешние системы" выбирается команда "Команды – Команды учётных систем".
3. Выбирается команда загрузки необходимых данных.
4. В появившемся модальном окне заполнить необходимые параметры, если есть и нажать кнопку "Отправить команду (ы)".
5. Откроется окно лога, в котором вы увидите сообщения об отправке команды, доставки ее адаптеру и затем краткую сводку о выполнении: Сколько объектов загружено, сколько ошибок и т.д.

Отчёт о состоянии синхронизации

В целях упрощения анализа текущего состояния импорта объектов реализован отчёт о состоянии, дающий как общее представление о проблемах, так и описание каждой ошибки, произошедшей на конкретной операции. Типичным является итеративное исправление указанных в нём проблем, и формирование нового.

Генерация структуры вниз

Генерация структуры вниз

Генерация структуры возможна от Площадки, Узла или Корректора.

В общем случае, просто необходимо выбрать объекты для которых предполагается сгенерировать потомков, и из контекстного меню выбрать пункт "Генерировать вниз".

Особенности алгоритма генерации:

• Операция не деструктивна, и всегда генерирует только 1 прямого потомка (УУГ для площадки или Выхода ГРС, корректор для узла, канал для корректора). Таким образом может быть выполнена несколько раз для одного и того же объекта - дублей создаваться не будет.

• Генерация останавливается на первом потомке, если он есть. Так, если имеется Площадка с узлом она будет пропущена при генерации от Площадки. Необходимо будет выполнить такую операцию от узлов и корректоров соответственно, если там могут быть элементы без потомков также.
• В момент генерации будет выведено диалоговое окно с вопросом как формировать имена генерируемых элементов.
• Чтобы иметь возможность отличать объекты фактически импортированные из АИС РГ и генерированные, в поле объекта Ид. во внешней системе дописывается префикс "gen:"

В случае, если в АИС РГ вообще не ведётся структура ниже площадок, адаптер имеет команду автоматической генерации всей недостающей структуры, которая может быть также настроена на автоматическое регулярное выполнение.

Ответственными за структуру и в том числе за генерацию недостающих элементов являются представители РГК.

---