Пример электронного документа в формате SDMX-ML

В заключение кратко рассмотрим основных конструкций языка SDMX-ML, для чего воспользуемся небольшим примером, входящим в состав пакета спецификаций языка SDMX-ML.

Статистические данные, приведенные в этом примере, это величины внешнего долга, подлежащие погашению, в млн. долларов США. Данные приводятся на каждый месяц на начало отчетного периода:

Отчетный период	Данные
2000-01	3.14
2000-02	3.14
2000-03	4.29
2000-04	6.04
2000-05	5.18
2000-06	5.07
2000-07	3.13
2008-08	1.17
2000-09	1.14
2000-10	3.04
2000-11	1.14
2000-12	3.24

XML-код этого примера представлен в Листинге 1.

Прежде всего стоит обратить внимание на объявления пространств имен, реализующее принцип модульности, о котором шла речь выше.

Корневой элемент <GenericData> используется для передачи данных относящихся к различным основных понятиям. В данном примере в элементе <GenericData> содержатся два сложенных элемента <Header> и <DataSet>. Остановимся на каждом из них.

Элемент первого уровня <Header> определяет заголовочные поля, некоторые из которых представлены в этом примере. Элемент <ID> описывает поток данных, которое в сочетании с указанием времени однозначно идентифицирует набор данных. Элемент <Test> показывает, является ли сообщение тестовым или нет. <Truncated> используется в сообщениях, которые генерируются в ответ на запрос (<Query>), и содержит значение true (истина) только в том случае, если ответ был сокращен в соответствии с требованиями, предъявляемыми к размеру и задаваемыми с помощью атрибута defaultLimit в сообщении запроса. Элементы <Name> и <Prepared> - указывают имя передачи и дату подготовки, соответственно, а <Sender> и <Receiver> несут информацию о передающей и получающей стороне. Элемент <DataSetAgency> содержит идентификатор/сокращение учреждения, хранящего набор данных, а <DataSetID> - идентификатор передаваемого набора данных. Значение элемента <DataSetAction> определяет, является ли данное сообщение обновлением (Update) или подразумевает удаление (Delete) - сообщение нельзя использовать с сообщением UtilityData. <Extracted> -это временная отметка из системы, предоставляющей данные. Наконец, <ReportingBegin> и <ReportingEnd> указывают начало и конец отрезка времени, к которому относится сообщение.

Элемент второго уровня <DataSet> включает одну или несколько групп, которые составляют передаваемый набор данных. Рассмотрим некоторые элементы, входящие в состав <DataSet>: <GroupKey>, <Attributes> и <Series>.

Элемент <GroupKey> содержит знания ключей (элементы <Value>); заметим, что все эти элементы, если они не являются групповыми символами, должны присутствовать и в элементе <Series>. <GroupKey> - необязательный элемент, однако если передаются элементы <Attributes> (т.е. документация - значения ключевых понятий), то <GroupKey> должен присутствовать в сообщении.

Элемент <Series> определяет структуру временного ряда и включает значения ключей (элемент <SeriesKey>), значения для всех атрибутов (элемент <Attributes>) и совокупность наблюдений (элемент <Obs>). Элемент <SeriesKey> описывает содержание ключа временного ряда, при этом для каждого невременного измерения должно быть передано значение (элемент <Value>), причем в том порядке, в котором во ключевом понятии определены измерения. Элемент <Obs> определяет структуру наблюдения - время (элемент <Time>) и значение (элемент <ObsValue>), а также значения для каждого атрибута (<Attributes>), назначенного ключевым понятием для наблюдения.

“Использование Стандарта обмена статистическими данными и метаданными (SDMX) в Истате”

Использование Стандарта обмена статистическими данными и метаданными (SDMX) в Истате (шаг вперед к интеграции процессов и гармонизации данных)

Аннотация. При огромном давлении на ресурсы статистических организаций, которые каждый день сталкиваются с новыми информационными потребностями без параллельного финансового размещения, разработка ИКТ способствует производству и опубликованию «конкурентоспособной» статистики, поступающей от разных институтов и предприятий. В данном случае сочетание, стандартизация и оптимизация процесса и инфраструктуры являются единственным решением этой проблемы, а стандарт SDMX может рассматриваться в качестве необходимого «строительного блока».

Истат принял решение вкладывать средства в модернизацию своей статистической информационной системы, вследствие этого Единственная точка выхода стандарта SDMX будет одним из измерений, в которых будет проходить такая модернизация.

1. Введение 1. Целью данного документа является демонстрация задач, решаемых Истатом в целях модернизации своей информационной системы и выполнения мер по внедрению стандарта SDMX, как часть своего стратегического видения. В частности работа заключалась в использовании стандарта для усовершенствования бизнес-процесса после жизненного цикла статистических данных, а также для улучшения процесса гармонизации данных.

2. Текущий контекст и сценарии на будущее 2. Истат всегда с огромным интересом следил за развитием технологий, имеющих потенциальное воздействие на сбор, обработку и распространение статистической информации: такая заинтересованность облегчает постоянное развитие инструментов, используемых этим институтом, обеспечивая значительный успех в сфере действенности и эффективности. В последние годы Истат сделал заметный прогресс в удовлетворении новых потребностей в статистической информации, пытаясь в то же время уменьшить нагрузку на респондентов и оптимизировать производственные процессы.

3. Однако в последние годы перед Истатом встали новые задачи вследствие развития информационно-коммуникационных технологий (ИКТ), подразумевающие не только открытие новых технологических сценариев для статистики, но и также значительное сокращение стоимости производства данных, позволяя еще большему числу институтов опубликовывать статистику с административных источников и выборочных исследований.

4. Информационные системы крупных и средних размеров предприятий обеспечивают непрерывный поток данных, которые иногда публикуются более часто с меньшими ограничениями, по сравнению с информацией, предоставляемой НСИ.

5. Зачастую такие данные незамедлительно подвергаются анализу и зачастую преобразовываются в комплексные индикаторы. Google недавно приступил к выработке ценовых индикаторов, основываясь на онлайн транзакциях. Прочие используют данные от покупок, совершаемых посредством кредитных карт, для разработки индикаторов продаж товаров и услуг в реальном времени.

6. Практически, посредством Интернета мы имеем доступ к безграничному объему количественной информации, представляемой по всему миру. Технологии визуализации предлагают экстраординарные коммуникационные инструменты, которые позволяют даже не-экспертам понять значение сложных явлений, обобщенных в нескольких номерах.

7. С другой стороны, огромное давление оказывается на ресурсы статистических организаций, которые ежедневно сталкиваются с новыми требованиями по предоставлению данных без параллельного финансирования: обязательство по сокращению расходов с одновременным улучшением эффективности и качества стало одной из основных задач, с которыми приходится сталкиваться статистическим организациям.

8. Одновременно, отмечается усиление путаницы среди аналитиков и общественного мнения, в частности, по мере увеличения числа доступных источников и общественных заявлений, которые ссылаются на противоречивые данные, касающиеся одного и того же явления.

9. Если, следовательно, это – мир, в котором мы живем, следовательно разумно ожидать, что некоторые из тенденций, упомянутых здесь, будут продолжать действовать, и, возможно, развиваться, нам стоит задаться вопросом, каким образом «официальная статистика» должна развиваться, чтобы исполнять ту значительную роль, которую она призвана играть для функционирования нашего общества.

10. В данном контексте, усовершенствование статистических информационных систем является одним из основных вопросов, с которыми приходится сталкиваться каждой организации. Кроме того, Государственные статистические учреждения, в совей роли основных координаторов национальных статистических систем призываются к инициированию и, зачастую, к координированию трансформаций.

Подтверждение стандартов, согласование информации (концепций, классификаций и словарей), преодоление логики «дымохода», которая до сих пор характеризует многие статистические процессы, а также новые методы обмена данными и метаданными представляют собой все наиболее жизнеспособные методы решения таких задач.

11. Stat2015: Стратегия ИСТАТ на следующие годы 11. В течение последних 12 месяцев ИСТАТ запустил многолетний проект, именуемый “Stat2015”, разработанный в целях планирования и реализации серьезного технологического и организационного «прорыва» для Института, который планирует стать лидером в сфере обработки данных для статистических целей и в отношении респондентов и пользователей статистической информации (частных лиц, населения, предприятий и учреждений).

12. Вкратце, проект может быть разбит на три ключевых составляющих:

a) Сбор и первоначальная обработка данных и метаданных. В таком случае, должна быть разработана последовательная система методов сбора информации, ориентированных на сбор цифровых данных, контролирование, мониторинг и проверка качества процессов, своевременность, сокращение статистической нагрузки, объединение данных из других источников, а также обмен инфраструктурами и возможность повторного использования информации в рамках Национальной статистической системы. Преследуемая цель – объединение протокола10 XBRL (ставшего стандартным для документирования и обмена финансовыми потоками, а также уже используемого для передачи финансовых отчетов и бланков налоговых деклараций “Unico”) и протокола стандарта SDMX (для обмена статистическими данными), причем платформой обоих является XML язык. Конструирование статистической таксономии на XBRL осуществляется в процессе разработки и может применяться начиная с наиболее обременительных исследований для предприятий, таких, которые используются для выработки информации, требуемой Законодательством Европейского Союза в области структурной бизнесстатистики.

b) Управление информацией. Задача заключается в создании системы, базирующейся на методах обработки, управления и архивирования данных и метаданных, ориентированных на проверку качества вырабатываемой информации, прозрачность и воспроизводимость результатов, также как и сохранение и защиту информационного наследия. С тем, чтобы достичь таких целей, необходимо отойти от метода «дымохода», который и в настоящее время продолжает оставаться характерным для многих статистических процессов. В этом отношении ИСТАТ планирует дальнейшее развитие, в статистических целях, объединения микроданных, извлеченных из административных и статистических источников.

c) Распределение и передача данных. В течение нескольких лет ИСТАТ публикует свои статистические данные через традиционные каналы наряду со многими статистическими учреждениями, такие как печатные и сетевые публикации, веб-сайты и прочее. В частности, онлайнраспространение осуществляется через файлы, содержащие предопределенные таблицы различных форматов либо чрез базы данных. К примеру, через веб-сайт ИСТАТ можно осуществить доступ к различным базам данных, которые не только отличаются друг от друга по методам доступа и навигации, но также представляют статистические данные непоследовательно и/или частично (данные, не всегда сопровождаемые соответствующими метаданными).

В целях улучшения обслуживания пользователей и подготовки Института к взаимодействию с ними принципиально иным образом, разработан ряд действий. Они включают в частности:  новый веб-сайт: было проведено полное графическое и навигационное перепроектирование - сайт доступен на итальянском и английском языках, упростилось использование информации даже для пользователейнеэкспертов. Посредством подключения в приложениях визуализации данных и поиска, а также диалога в реальном времени с открытыми системами распределения, новый сайт обеспечивает прямой доступ к цифровой информации, взаимосвязанной с метаинформацией. Информация представлена на страницах, состоящих из модулярных информационных элементов, и предлагает два основных вида доступа: общая вкладка для незарегистрированных пользователей (с вложениями, определенными необходимостью обеспечения каждого пользователя фиксированным набором данных, а также осуществления определенных коммуникативных стратегий), а также специализированная вкладка для зарегистрированных пользователей, что является обобщением содержания с инструментами, которые пользователь может выбрать из перечня, формируя сайт в соответствии с его/ее собственными потребностями (MyIstat);  новое хранилище данных I.Stat: разработанное на итальянском и английском языках, I.Stat разработано как единое вместилище, в котором будут храниться все статистические макроданные, имеющие отношение к различным экономическим, социальным и экологическим явлениям. I.Stat (итальянская версия аналогичного OECD.Stat) представляет собой одновременно индивидуальные комплекты данных в простой форме, в соответствии с предустановленным презентационным планом, а также позволяет пользователю обозначить перечни, отвечающие его/ее потребностям, сохранить их, а затем обновить при помощи одного «клика», с тем, чтобы всегда иметь под рукой самые последние данные;  новые пресс-релизы: пересмотренные по форме и содержанию, прессрелизы, посвященные индивидуальным темам, превратились в «порталы»: с их помощью, посредством «клика», пользователь имеет доступ к дополнительной информации (включая базы данных), соединенных с ними;  новые инструменты графической визуализации: основанные на Statistics eXplorer, они дают возможность (начиная с данных, хранящихся на I.Stat) статического и динамического отображения требуемых процессов с помощью графиков и карт, которые впоследствии могут быть включены в другие сайты, для их дополнения комментариями и прочей информацией (фотографии, документы и т.д.), создаваемой и отбираемой пользователем;  новая Единственная точка выхода (ЕТВ) стандарта SDMX: важный этап в отношении новой формы распределения и передачи статистических данных является первым результатом инновационного перехода к открытому хранилищу данных и доступным данным и метаданным для тех пользователей, которым необходимо взаимодействие на уровне «междумашинной коммуникации».

4. Стандарт SDMX в ИСТАТ 13. ИСТАТ работает на базе Стандарта SDMX с 2004 г. В начале, участие в пилотных проектах (Стандарт SDMX Обмен открытыми данными, Вопросник по демографическому развитию, Хаб переписи, Регистр Евро Группы), запущенных Евростатом в рамках ESS позволило получить знания и опыт с тем, чтобы оценить его использование помимо обмена данными. Фактически, помимо политики обмена данными, использование Стандарта SDMX дает возможность объединить неоднородные информационные системы и согласовать содержание статистических данных.

14. Также видение1 метода выработки статистических данных ЕС: видение, касающееся следующего десятилетия ”, распространенное на уровне стран ЕС, охватывает данное направление. В частности, Евростат подчеркнул, что одна из областей, к которым видение может иметь определенную причастность касательно вопроса распределения данных, будет включать действующую “Единую точку входа” на уровне Евростат, а также “Единую точку входа” в каждом НСИ, с привлечением поддержки из хранилища данных. Логически рассуждая, в таком хранилище данных будут обрабатываться не только данные, предназначенные для Евростата, но и данные, представляемые для широкой общественности НСИ. Общая Единая точка входа для распределения, а также для представления отчетов для Евростата или прочих международных организаций позволит сократить время, затрачиваемое на работу, и будет способствовать обеспечению согласованности национальных и Европейских статистических данных.

15. В качестве части видения Stat2015, а также в контексте новой политики распределения данных, ИСТАТ принял решение о вводе ряда действий, связанных с внедрением Стандарта SDMX в рамках самого Института, и, на более глобальном уровне, с Национальной статистической системой:  создание хранилища данных I.Stat (основываясь на хранилище данных ОБСЕ/ OECD.Stat), в целях способствования деятельности одного информационного архива для обработки всех распределяемых комплектов данных, получаемых от управлений статистического производства. В данном контексте, все уже действующие распределительные базы данных будут объединены в I.Stat;  разработка сервера классификаций позволит обеспечить полный и беспрепятственный доступ для всех внутренних и внешних пользователей/устройств, для гармонизации классификаций также в формате Стандарта SDMX;  внедрение инфраструктуры Станадарта SDMX, основанной на Стандарте SDMXRI, разработанной Евростатом, и дополненной модулями, разработанными ИСТАТ. Такая инфраструктура будет действовать в качестве Единой точки выхода для данных и метаданных (Регистр SDMX), разрешающей распределение данных/представление отчетов методом междумашинной коммуникации с использованием структурных метаданных и данных SDMX через веб-сервис. 16. В целях упрощения рабочего плана предприняты некоторые поддерживающие меры:  Разработка Концепции Стандарта SDMX ИСТАТ2.  Участие в ESSnet3 по вопросам Стандарта SDMX, этапы I и II;  Внутренняя подготовка статистиков и IT-специалистов (три ознакомительных сессии в 2010 году, одна сессия по моделированию данных в 2011 году;  активная подготовка к разработке новой версии стандарта SDMX 2.1;  создание рабочей группы, состоящей из статистиков и IT-специалистов, главной целью которой является моделирование комплектов данных посредством определения всех необходимых структурных метаданных Стандарта SDMX. Кроме того, такая рабочая группа должна отвечать за «преобразование» концепций и кодов, хранящихся в I.Stat и других распределительных базах данных, с концепциями и кодами, указанными в ОСД.

5. Единая точка выхода (ЕТВ) Стандарта SDMX ИСТАТ 17. Единая точка выхода Стандарта SDMX помимо всего прочего дает возможность легкого доступа к данным в форматах, позволяющих их легкое повторное использование (метод междумашинной коммуникации), чтобы:  сократить действующее распределение методом «дымохода» для публикации данных, а также позволить конрагенту “извлечь” данные и метаданные, в случае необходимости. Цель заключается в сокращении количества Цель заключается в снижении числа информационных архивов и количества форматов (excel, csv и т.д.), в которых настоящее время распределены данные;  улучшить качество и эффективность посредством содействия a) использованию последовательных статистических концепций и сигнальных регистров через домены, b) сохранение значения посредством соединения данных с метаданными, которые обеспечивают их определение и дают четкое объяснение, c) обмениваться и представлять данные и метаданные в открытом, надежном формате ("XML"), в отличие специализированных.

2 Концепция ИСТАТ СДМО будет объединена, в ходе этапа II ESSnet на станадарте SDMX, в рамках стандарта SDMX-RI, разработанного Евростатом. 3 Европейские центры статистических систем и сеть передовых научно-исследовательских центров представляют собой инструмент, созданный Евростатом, в целях определения взаимодействия (в результате сотрудничества между партнерами), гармонизации и распространения передового опыта в странах ЕС. Страныучастницы получают финансовую поддержку по условиям Соглашения о субсидировании консорциума заявителей.

18. Нижеприведенные данные обеспечивают схематическое представление технического установления инфраструктуры стандарта SDMX.

19. На базе такой структуры стандарта SDMX имеется идея «преобразования данных» между «наследием» и метаданными стандарта SDMX. Следуя такому методу, не обязательно изменять структуру и содержание метаданных в рамках уже имеющихся информационных архивов. В целях облегчения процесса «преобразования данных», который является длительным и весьма дорогим, был создан соответствующий инструмент, именуемый «Ассистент преобразования данных».

 Ассистент установления соответствия представляет собой «настольный» инструмент, содействующий преобразованию между структурными метаданными, представленными Системой Определения структурных данных (ОСД) стандарта SDMX- ML и теми данными, которые хранятся в распределенной базе данных структуры распределения НСИ. Посредством графического интерфейса пользователь может создать «преобразование данных» между распределенными базами данных и ОСД. Ассистент установления соответствия разработан для редактирования и хранения картографической информации в Системе управления базовых данных (СУБД), называемой Блок Преобразования данных, и производит обмен информацией как с Mapping Store, так и с распределенными базами данных в стандартном SQL.  Регистр SDMX/ Блок Преобразования данных является центральным структурным элементом инфраструктуры. Он действует в качестве «конторского» приложения для внутреннего и внешнего доступа для восстановления структурных метаданных стандарта SDMX. Он хранит результаты преобразования сообщений между стандартом SDMX и собственными концепциями, а также сигнальными регистрами и, в конце концов, он отслеживает, какая распределительная база данных содержит данные, которые пользователь/заявитель может запросить через Веб-Сервис. В настоящее время Регистр может хранить следующие артефакты стандарта SDMX: схемы категорий, концептуальные схемы, сигнальные регистры, ключи группы пользователей, информационные потоки. Ограничения могут быть получены в процессе.  Веб-сервис является структурным элементом, ответственным за размещение данных и метаданных с использованием интерфейса Веб-сервиса, который обеспечивает сообщения стандарта SDMX-ML. В данном контексте он внедряет два интерфейса со следующими методиками: o для запроса комплектов данных: GetGenericData, GetCompactData, GetCrossSectionalData; o для запроса структурных метаданных: QueryStructure. o 6. Заключения и выводы 20. За 10 лет стандарт SDMX достаточно созрел для перехода от тактической к стратегической перспективе. Вследствие этого, пришло время отойти от «пилотной» практики и рассматривать стандарт SDMX в качестве неотъемлемого компонента любой современной структуры в области статистики: стандарт SDMX не только для обеспечения прогресса в сфере «совместного использования данных», но также и для облечения и улучшения интеграции, гармонизации и возможности взаимодействия.

21. Следовательно, привлечение топ-менеджеров и менеджеров среднего звена является основной необходимостью.

22. SDMX предназначен не только для IT-специалистов, но и статистики также являются объектами, в чьи обязанности входит продвижение прогресса в правильном направлении и с правильной скоростью.

23. Действия по наращиванию потенциала необходимы для запуска любого проекта стандарта SDMX.

24. И последнее, но не менее важное, повторное использование программного обеспечения и навыков не только сокращает расходы на внедрение структуры стандарта SDMX или осуществление проектов стандарта SDMX, но также позволяет за короткое время достичь поставленных целей.

Заключение

В этой и предыдущей статье был рассмотрен новый стандарт SDMX для обмена статистическими данными и метаданными между различными организациями как на национальном, так и на международном уровне. Данный формат был разработан в рамках так называемой инициативы SDMX - Statistical Data and Metadata Exchange Initiative², возникшей при непосредственном участии крупнейших финансовых и экономических международных организаций, таких как Международный валютный фонд, Европейский Центральный Банк и др.

С полной спецификацией этого стандарта можно познакомиться на сайте SDMX-инициативы:http://www.sdmx.org.

Публикации

1. Общие открытые стандарты для обмена социально-экономическими данными и метаданными: инициатива SDMX (Common Open Standards for the Exchange and Sharing of Socio-economic Data and Metadata: the SDMX Initiative).

2. SDMX: движение вперед (SDMX: Moving Forward).

3. Сайт организации SDMX: http://www.sdmx.org/.

Дата добавления: 2015-11-26