Інформаційні системи і технології в статистиці (2003)

Технологічний процес автоматизованого оброблення статистичної інформації являє собою сукупність операцій, здійснюваних у певній послідовності, — від збирання початкової інформації до одержання результатної інформації. Під операцією розуміють комплекс дій, які виконуються над інформацією на одному робочому місці.

Розроблення будь-якого технологічного процесу має забезпечити максимальну автоматизацію процесів оброблення інформації з використанням різних технологічних засобів і високу достовірність одержання результатної інформації за мінімальних трудових і вартісних витрат.

Склад операцій і послідовність їх виконання залежать від характеру вирішуваних статистичних задач і наявного комплексу технічних засобів на кожному рівні оброблення (районному, обласному, державному). Характер задач в основному визначається обсягами оброблюваної інформації, періодичністю розв’язання, а також складністю алгоритмів її перетворення. Розв’язання задачі на кожному рівні оброблення може виконуватися в різні способи з використанням різних обчислювальних засобів і методів контролю.

У технологічному процесі автоматизованого оброблення статистичної інформації за розв’язання різних задач простежуються три етапи: первинний, основний і підсумковий.

Операції первинного етапу пов’язані зі збиранням і підготовкою статистичних звітів до машинного оброблення. Від якості виконання цих операцій залежать ефективність і достовірність безпосередньо автоматизованого оброблення.

Операції основного етапу забезпечують уведення та оброблення первинних звітів, а також друкування зведених звітів відповідно до заданого алгоритму розв’язання статистичної задачі. Автоматизоване оброблення статистичної інформації може здійснюватися з використанням окремих типів ПЕОМ або ПЕОМ, які входять до складу локальної інформаційно-обчислювальної мережі.

На підсумковому етапі виконуються операції контролю і випуску зведених звітів з метою перевірки якості їх оброблення і друкування, подальшого розмножування і розсилання споживачам.

Оскільки для виконання окремих операцій оброблення інформації можуть бути використані різні засоби обчислювальної техніки і в різних поєднаннях, існує багато варіантів технологічних процесів. Ефективність проектування машинного оброблення статистичної інформації вимагає їх стандартизації. Під стандартизацією технології автоматизованого оброблення інформації розуміється розроблення комплексу деталізованих і максимально уніфікованих схем технологічних процесів з чітким установленням складу і послідовності виконання операцій. Орієнтація на стандартні технологічні процеси приводить до поліпшення якості проектування, полегшення і прискорення впровадження машинного оброблення даних.

Перший етап оброблення первинної звітності на районному та обласному рівнях починається зі збирання інформації, контролю повноти та якості заповнення первинних звітів економістами відповідних відділів інформаційного забезпечення від джерел інформації (підприємств, організацій). Якщо виявляються помилки, то економісти роблять запити до джерел інформації. У противному разі за первинними звітами робиться підрахунок і реєстрація контрольних сум. Контрольні суми необхідні в подальшому для перевірки правильності введення даних у ПЕОМ, залежно від структури первинного звіту вони можуть підраховуватися по кожному рядку, графі або по звіту в цілому.

Основний етап починається із введення первинних звітів, їх логічного, арифметичного і синтаксичного контролю. Незалежно від результатів контролю здійснюється запис інформації на магнітні носії. При цьому виконується перевірка повноти запису і внесення коректив у первинні звіти на магнітних носіях.

Арифметичний контроль полягає в перевірці балансу даних у рядках і графах первинного звіту із застосуванням заздалегідь підрахованих контрольних сум. Під час логічного контролю перевіряють допустимі відхилення від найбільш імовірних даних, а синтаксичного — структура заповнення документа різними даними.

Якщо у процесі контролю виявилося порушення, друкується протокол помилок, у якому зазначається характер порушення, конкретна помилка та її місце в масиві інформації. На основі цього протоколу робиться запит до джерел інформації, за результатами якого виконується коригування інформації на машинних носіях.

Тільки після внесення всіх змін і позитивного контролю повноти запису первинних звітів на магнітні носії беруться до їх оброблення згідно із заданим алгоритмом розв’язання задачі. Далі здійснюється друкування зведених звітів.

На підсумковому етапі технологічного процесу оброблення інформації економістами виконується контроль зведених звітів на повноту входження вхідних даних у заданий розріз оброблення та якості їх друкування.

Залежно від характеру помилки зведені звіти обробляються або друкуються заново. Потім здійснюється розмножування зведених звітів з допомогою копіювально-розмножувальних засобів залежно від замовленого різними споживачами накладу і розсилання їх місцевим органам управління та іншим рівням системи Держкомстату України.

Для розв’язання реґламентних задач використовуються інформаційні технології, які реалізуються з допомогою комплексів електронного оброблення інформації (КЕОІ), що являють собою сукупність пакетів прикладних програм, які забезпечують розв’язання окремих реґламентних задач на різних рівнях Держкомстату України.

Технологія розв’язання реґламентних статистичних задач охоплює всі етапи проходження статистичної звітності — від надходження первинних звітів від підприємств, організацій, комерційних структур на нижчий рівень до випуску зведених звітів на більш високому рівні Держкомстату України. Здійснюється ця технологія засобами КЕОІ.

На теперішній час в інформаційній системі Державного комітету статистики України функціонують системні та локальні КЕОІ. У системних комплексах розв’язання реґламентної задачі виконується за типовою технологією з обміном даними між рівнями за допомогою електронної пошти. Локальні КЕОІ для вищого рівня реалізують розв’язання задач, для яких первинні звіти надходять безпосередньо у ГМУС Державного комітету статистики України, де й здійснюється їх повне оброблення.

Технологія розв’язання реґламентних статистичних задач охоплює такі процедури:

процедура 1 — підготовка до роботи з КЕОІ. При цьому здійснюється завантаження програм і бібліотечного масиву зі всіма елементами інформаційно-довідкового фонду КЕОІ (каталогами, словниками, довідниками);

процедура 2 — підготовка вхідної інформації до оброблення. Здійснюються візуальний контроль і підготовка форм первинних статистичних звітів, перенесення первинної інформації цих звітів на магнітні носії чи безпосередній запис до бази даних або файлів в інтерактивному режимі. Процедура виконується на районному рівні, а по промислових підприємствах — на обласному рівні;

процедура 3 — уведення і запис вхідної інформації в ПЕОМ. Дані первинних статистичних звітів, розміщені на машинних носіях, уводяться (зчитуються) у пам’ять ПЕОМ, здійснюються всі види контролю з видачею протоколу помилок, на основі якого підготовлюється і вводиться інформація; далі виконується контроль на повноту надходження звітів, об’єднання даних звітів з даними каталогу в єдиний масив даних, копіювання цього масиву на магнітний носій з метою організації архіву;

процедура 4 — оброблення, контроль, коригування і друкування вихідних таблиць. Під час виконання цих операцій відбувається формування проміжних підсумкових числових матриць і попереднє друкування зведених таблиць, здійснюється контроль таблиць, а за потреби, у разі коригування первинних даних, — повторний розрахунок, контроль і робоче друкування окремих таблиць. У багатьох КЕОІ передбачено можливість коригування сформованих результатних числових матриць без перерахунку. Далі друкуються підсумкові вихідні таблиці з використанням всіх необхідних текстових наборів даних для їх оформлення;

процедура 5 — підготовка матеріалів для передавання на вищий рівень. Здійснюється виведення на магнітний носій первинних даних, які передаються на вищий рівень, і масивів у вигляді проміжних підсумкових числових матриць або у вигляді зведених таблиць, одержаних у процесі реалізації попередніх процедур, а також друкування довідникової інформації, що передається, та контрольних і довідкових даних про інформацію, що передається електронною поштою в обласне управління статистики, а з обласного управління статистики — у Державний комітет статистики України;

процедура 6 — підготовка до об’єднання масивів зведених даних, одержаних з нижчого рівня. Для кожної з одержаних сукупностей реґіональних даних по черзі видаються довідкові зведення про інформацію, яка надійшла. Здійснюється контроль балансової і логічної ув’язки таблиць, а за потреби — їх коригування і повторний запис по кожному реґіону;

процедура 7 — об’єднання масивів зведених даних, одержаних з нижчого рівня. Відбувається попереднє нагромаджування таблиць з об’єднуваних масивів без підсумування даних, формування для ряду КЕОІ каталогів у розрізі міністерств, відомств, галузей тощо, розрахунок і друкування зведених таблиць за цими розрізами оброблення, контроль балансової і логічної ув’язки цих таблиць. За потреби здійснюється їх коригування і повторне друкування, формування і друкування зведених таблиць по території в цілому, видача довідкових даних про структуру зведеної інформації на машинних носіях;

процедура 8 — оброблення та одержання зведених таблиць по міністерствах і відомствах, звітність яких не централізовано в органах статистики. Процедура виконується в багатьох КЕОІ на державному рівні та передбачає приймання зведених вихідних таблиць ряду міністерств, звітність яких не централізовано в органах статистики. Здійснюються: приймання зведених підсумків по цим міністерствах, підготовка їх до введення в ЕОМ, записування з контролем і коригуванням та машинне роздрукування зведених таблиць. Одержана в результаті процедури інформація виводиться на окремі дискети, які використовуються поряд із магнітними дискетами, одержаними з нижчого рівня, під час виконання процедури 7;

процедура 9 — одержання таблиць для місцевих керівних органів. Виконується на районному та обласному рівнях. На цих рівнях виконується формування проміжних числових матриць з даними спеціальних таблиць для місцевих керівних органів і друкуються таблиці.

У багатьох КЕОІ здійснюється додаткове розроблення первинних звітів, підготовлених у вигляді масиву вихідних даних у процесі реалізації процедури 3, з метою одержання вихідних таблиць (наприклад, по адміністративних районах) і друкування цих таблиць. Спеціальні вихідні таблиці, а також вихідні таблиці, одержані в результаті додаткової розробки, передаються місцевим керівним органам. Наведені вище типові технологічні процедури реалізують процес оброблення статистичної звітності на районному, обласному і державному рівнях у вигляді таких операторських схем: районний рівень — процедури 1, 2, 3, 4, 5, 9; обласний рівень — процедури 1, 2, 3, 4, 5, 6, 7, 9; державний рівень — процедури 1, 2, 3, 4, 6, 7, 8.

Якщо перелік технологічних процедур доповнити ще однією процедурою — передаванням інформації по комутованих і виділених каналах зв’язку з використанням засобів телеобробки для складання термінової звітності, то можна одержати повний набір типових процедур.

Останнім часом поширюється така технологія оброблення даних, за якою на державний рівень первинні дані передаються або разом зі зведеними, або без них — у цьому разі зведення на державному рівні формуються з первинних даних. Застосування такої технології пов’язане з необхідністю утворення банку даних одиниць статистичної звітності — статистичного реєстру. Основне призначення статистичного реєстру — визначення кола респондентів для різноманітних вибіркових обстежень.

Виконання процедур оброблення статистичних даних відбувається на основі традиційного набору програмних модулів: введення, контроль і запис первинних звітів; коригування первинних звітів; формування звітів; друкування зведених звітів.

Опис зведених таблиць має чотири розділи, а саме:

розділ параметрів заголовочної частини таблиці;

розділ текстів;

розділ одержання похідних граф;

розділ параметрів змістовної частини таблиць.

У розділі параметрів змістовної частини таблиць наводиться характеристика розміщення заголовків, підзаголовків, рамки з кодами і шапки (найменування і номери граф змістовної частини) таблиць.

Розділ текстів слугує для оформлення вихідних таблиць і містить опис символьних текстів, які включають заголовки, рамки кодів, шапки, боковики.

Розділ одержання похідних граф описується в тому разі, якщо їх значення можна обчислити, використовуючи вхідні графи. Для цього вказуються номери вхідних граф і тип групової арифметичної операції, яка виконується для одержання похідної графи.

У розділі параметрів змістовної частини таблиці наводяться описи боковика, рядків таблиці та розрахунок похідних рядків. Опис розрахунку похідних рядків складається аналогічно опису похідних граф.

Технологічний процес, який реалізується в рамках комплексу електронного оброблення інформації реґламентних статистичних задач, поділяється на такі етапи:

підготовка до роботи комплексу електронного оброблення інформації;

підготовка вхідної інформації до оброблення;

уведення, запис і контроль вхідної інформації;

формування зведених таблиць, контроль, коригування і друкування зведених таблиць;

підготовка матеріалів для передавання на більш високий рівень;

підготовка до об’єднання масивів зведених даних, одержаних з нижчого рівня;

оброблення та одержання зведених таблиць, звітність яких не центравлізовано;

одержання таблиць для місцевих керівних органів.

У процесі підготовки до роботи КЕОІ відбувається інсталяція програмного та інформаційного забезпечення на ПЕОМ користувача або на робочі станції і сервер, якщо КЕОІ призначений для функціонування в архітектурі клієнт-сервер. За потреби здійснюється коригування окремих елементів інформаційного фонду.

Відповідно до цієї структури організовуються АРМи для оброблення інформації на всіх рівнях ієрархії інформаційної системи статистики. У кожній з підсистем визначено комплекси задач, процеси і процедури оброблення інформації для формування статистичної звітності.

Так, у підсистемі статистики промисловості виділяють такі комплекси задач:

статистика продукції промисловості;

статистика собівартості продукції;

статистика основних фондів;

статистика розрахунків техніко-економічних показників;

статистика аналізу ефективності роботи промисловості.

У межах кожного блоку визначено конкретні задачі, по яких відпрацьовано технології оброблення інформації від моменту подання статистичних звітів в районні відділи та обласні управління статистики до формування зведених показників на рівні Державного комітету статистики України. Ці технологічні процеси є однорідними і можуть бути виконані за допомогою типових пакетів програм.

Формування аналітичних таблиць відбувається за допомогою типових пакетів програм, електронних таблиць чи спеціально написаних програм. Форми таких аналітичних таблиць задаються користувачем і не є постійними. У них задаються динаміка змін або кореляційні залежності статистичних показників.

Технологічні процеси розв’язання задач з формування відповідей на окремі запитання спеціалістів до БД є специфічними. Відповіді можуть формуватися спеціальними програмами, якщо запитання є типовими; якщо ж вони індивідуальні, то відповіді формуються за допомогою маніпулювання даними. Для розв’язання таких задач за статистичними дослідженнями кожного разу формується база даних з оперативною інформацією, яка поновлюється на основі опитування чи інших методів збирання статистичної інформації. Розв’язання здійснюється з використанням архівних БД.

Оброблення інформації БД виконується за допомогою типових пакетів, спеціальних програм, розроблених у ГМУС Державного комітету статистики України, та спеціалізованих статистичних пакетів.