library.if.ua

Інформаційні системи і технології в статистиці (2003)

7.2. Основні вимоги до проведення оброблення даних та етапи технології Всеукраїнського перепису населення

Технологія оброблення даних Всеукраїнського перепису населення 2001 року передбачає застосування сертифікованих технічних і програмних засобів, які відповідають вимогам відкритих систем взаємодії. Технологія будується з використанням принципів «клієнт-сервер».

Розроблення програмного забезпечення для опрацювання матеріалів перепису населення здійснюється з використанням стандартних для органів статистики програмних засобів, таких як MS Excel, S-Designor, PowerBuilder, Power ++, Sybase SQL, і відповідає чинним нормативно-технічним документам.

Технологічні засоби забезпечують оброблення даних у терміни, визначені Календарним планом підготовки і проведення Всеукраїнського перепису, а також їх розповсюдження в необхідних і достатніх обсягах. З метою забезпечення високого ступеня надійності застосовуються стандартні програмно-технічні рішення, широко вживані у складі інформаційної системи Державного комітету статистики України.

Окремо від існуючих обчислювальних комплексів, використовуваних для оброблення статистичної інформації, встановлено сервери і робочі станції для прийому даних з ОУС, їх контролю та оброблення. Робочі станції та сервери працюють під керуванням стандартних для інформаційної системи Держкомстату операційних систем.

На реґіональному та державному рівнях використовуються засоби архівації для створення на магнітно-оптичних дисках і картриджах на магнітній стрічці страхових та архівних копій даних перепису населення. Передбачено можливість отримання з архіву даних окремих інформаційних одиниць зберігання: база даних в цілому, вивантажена таблиця бази даних, графічні файли. Порядок утворення і терміни зберігання архівів реґламентуються постановкою задачі « Всеукраїнський перепис населення 2001 року».

Для забезпечення достовірності даних перепису населення передбачено необхідні й достатні засоби ручної й автоматизованої реєстрації документів, файлів даних і технологічних операцій під час передавання з ділянки на ділянку, з рівня на рівень.

Передавання даних з реґіонального рівня на державний виконується: кур’єром на машинних носіях; засобами електронної пошти по комутованих телефонних каналах загального користування.

Інформаційна сумісність даних перепису населення забезпечується використанням загальнодержавних класифікаторів інформації і таблиць зв’язку локальних довідників Всеукраїнського перепису із загальнодержавними класифікаторами.

Технологічний процес оброблення матеріалів перепису з моменту надходження переписних листів (ПЛ) до обласного управління статистики наведено на рис. 7.3.



Технологічний процес оброблення матеріалів починається з моменту надходження переписних листів до реґіональних управлінь статистики — Автономної Республіки Крим, обласних управлінь статистики, статистичних управлінь міст Києва і Севастополя і має такі етапи:

1) реєстрація портфелів в ОУС, перевірка та кодування даних ПЛ, формування звітної документації про перебіг здавання ПЛ;

2) уведення даних з паперових носіїв з допомогою сканерів Fujitsu M4099 D з проведенням контролю в обмеженому обсязі, підготовка файлів ПЛ для завантаження в базу даних, формування архіву графічних зображень, формування звітної документації про перебіг оброблення матеріалів перепису населення, реєстрація та повернення оброблених портфелів ПЛ;

3) завантаження файлів ПЛ до БД, формування протоколів завантаження;

4) контроль ПЛ, формування протоколів контролю ПЛ, коригування даних ПЛ на основі протоколу контролю з використанням архіву графічних зображень, виконання повторного контролю, формування звітної документації про перебіг оброблення даних перепису;

5) формування зведених даних (вихідних таблиць) у розрізі районів, проведення їх внутрішньотабличного, міжрозрізного та міжтабличного контролю, формування звітної документації про перебіг оброблення даних перепису;

6) формування територіального файла для надсилання (передавання) на державний рівень, створення архівних копій;

7) отримання від ОУС, реєстрація та антивірусний контроль територіальних файлів на державному рівні, складання довідок про перебіг надходження територіальних файлів, підготовка територіальних файлів для завантаження в базу даних;

8) завантаження територіальних файлів до центральної бази даних перепису, формування протоколів завантаження;

9) виконання контролю переписних листів, що входять до територіальних файлів, формування протоколів ПЛ, коригування територіальних файлів за протоколами контролю, проведення повторного контролю, формування звітної документації про перебіг оброблення даних перепису;

10) формування зведених даних (вихідних таблиць), проведення їх внутрішньотабличного, міжрозрізного та міжтабличного контролю;

11) друкування та виведення вихідних таблиць на технічні носії;

12) формування інформації для керівних органів країни;

13) формування реґіональних фрагментів центральної бази даних перепису зі зведеними даними та відсилання (передавання) їх в ОУС для подальшого використання, друкування зведених даних в ОУС;

14) підготовка матеріалів Всеукраїнського перепису населення для розповсюдження друкарськими засобами, засобами Internet і формування файлів на магнітних та оптичних дисках.

Пункти 1—7 і частково 13 виконуються в ОУС.

На будь-якому технологічному етапі оброблення передбачається передавання на державний рівень сформованої звітної документації про перебіг оброблення даних перепису населення. Звітна документація (починаючи з третього етапу) формується автоматично.

Під час будь-якого технологічного етапу оброблення даних на державному рівні передбачається можливість повного або часткового повторного запиту територіальних файлів або фрагментів графічних файлів ПЛ з реґіонального рівня.

Технологія оброблення матеріалів перепису населення орієнтована на оброблення паперових переписних листів. Проконтрольовані, оформлені та укомплектовані в портфелі переписні листи в терміни, що встановлені календарним планом, передаються районними (міськими) відділами статистики в ОУС. Звітна документація прийняття-передавання надсилається засобами електронної пошти керівництву Держкомстату. Подальше оброблення переписних листів в обласному управлінні статистики безпосередньо контролюється відділом перепису ОУС.

Після отримання переписних листів з районних (міських) відділів статистики у відділах перепису ОУС виконуються операції перевірки, докомплектації портфелів ПЛ і кодування ПЛ. В ОУС портфелі надходять на дільницю архіву перепису, де зберігаються на спеціальних стелажах. Архівна служба має засоби механізації для доставки/прийому портфелів на дільниці введення і з дільниць введення, а також телефонний зв’язок.

Після кодування портфелі передаються на спеціалізовану дільницю введення даних, де реєструються начальником зміни. Начальник зміни передає портфелі операторам введення даних. Оператор вводить інформацію переписних листів за допомогою пристрою оптичного зчитування. Оброблені портфелі ПЛ оператор вертає начальнику зміни і отримує наступну партію портфелів. По кожному окремому портфелю формується файл для завантаження в базу даних. Начальник другої зміни формує звітну документацію про перебіг оброблення матеріалів перепису.

Інформація про перебіг оброблення матеріалів перепису передається працівником відділу перепису населення ОУС о восьмій годині засобами електронної пошти в Держкомстат і водночас керівництву ОУС.

Підготовлені на етапі оптичного зчитування файли ПЛ завантажуються до бази даних. До БД записуються ті портфелі, які повністю або частково відповідають вимогам цілісності та правильності комплектації.

Контроль ПЛ поділяється на два основних види: суцільний і фрагментарний. Одиницею суцільного контролю є портфель, одиницею фрагментарного контролю — переписний лист. Перед формуванням зведених даних переписні листи, за якими проводиться зведення, проходять суцільний контроль, якщо після завантаження в дані портфелю вносилися будь-які зміни.

На реґіональному рівні після завершення суцільного контролю ПЛ, що стосуються одного району, проводиться формування зведених даних, вихідних таблиць та їх внутрішньотабличний, міжрозрізний і міжтабличний контроль. Результати контролю фіксуються в базі даних.

Передбачається повне і часткове робоче друкування зведених даних за запитом користувача.

По закінченні внутрішньотабличного, міжрозрізного та міжтабличного контролю в цілому по реґіону (у розрізі районів) шляхом вивантаження даних з бази даних формуються територіальні файли, які складаються з ПЛ і супроводжувальної інформації, у тому числі дані про стан проходження внутрішньотабличного, міжрозрізного та міжтабличного контролю зведених даних. Територіальні файли готуються для записування на технічні носії або для передавання засобами електронної пошти. Формується пакет даних для передання (відсилання).

Після формування та відсилання територіального файла або його частини створюється архівна копія як з БД, так і з територіального файла або його частини. Первісне оброблення територіального файла охоплює етап технологічної ланки від надходження ТФ на державний рівень до їх завантаження до центральної бази даних перепису.

На державному рівні (рис. 7.4) отримані від кур’єра або засобами електронної пошти територіальні файли реєструються, проходять антивірусний контроль і контроль на повноту й підготовлюються до завантаження. За результатами виконання цих операцій дається дозвіл на завантаження ТФ до центральної бази державного перепису або ТФ повторно запитується з реґіонального рівня. Перед початком завантаження з ТФ робиться архівна копія.



По закінченні первісного оброблення кожного ТФ здійснюється його завантаження до ЦБДП, після чого отримується протокол або довідка про склад даних, що надійшли з ТФ. Після завантаження кожного територіального файла проводиться суцільний контроль переписних листів цього територіального файла, отримується протокол контролю та довідка про якість даних. Формування зведених даних на державному рівні виконується по закінченні контролю всіх даних перепису. Після формування всіх вихідних таблиць здійснюється їх внутрішньотабличний, міжрозрізний і міжтабличний контроль. У разі виявлення помилок за допомогою системи нереґламентованих запитів локалізується джерело помилки і визначається необхідність повторного запиту ТФ з реґіонального рівня або повторення попереднього етапу з використанням автокоригування.

По закінченні внутрішньотабличного, міжрозрізного та міжтабличного контролю в разі відсутності помилок вихідні таблиці можуть бути роздруковані та виведені на технічні носії. Передбачається як повне, так і часткове друкування і виведення вихідних таблиць.

Для керівних органів країни інформація формується у вигляді друкарських видань, на оптичних дисках з відповідними програмами візуалізації. Програми візуалізації, розроблені в рамках виконання робіт з оброблення матеріалів перепису 2001 р., поставляються на тому самому оптичному носії.

У рамках виконання робіт з оброблення матеріалів перепису населення формуються фрагменти ЦБДП з даними вихідних таблиць для подальшого оброблення на реґіональному рівні. Порядок формування та відсилання реґіональних фрагментів аналогічний порядку формування територіальних файлів.

В ОУС отримані засобами електронної пошти реґіональні фрагменти реєструються, проходять антивірусний контроль, готуються для завантаження. За результатами виконання цих операцій дається дозвіл на завантаження реґіональних фрагментів до БД або реґіональні фрагменти повторно запитуються з реґіонального рівня. Перед початком завантаження з реґіонального фрагмента робиться архівна копія. Після закінчення завантаження до БД виконується друкування вихідних таблиць і виведення їх на технічні носії.

Підготовка матеріалів Всеукраїнського перепису населення для розповсюдження друкарськими засобами, засобами Internet і формування файлів на магнітних та оптичних дисках здійснюються на державному рівні.

Для оброблення матеріалів Всеукраїнського перепису населення використовується така нормативно-довідкова інформація:

довідник територій;

коди адміністративного значення населених пунктів;

довідник національностей;

довідник мов;

довідник «Міграція населення»;

довідник держав;

класифікатор видів економічної діяльності;

систематичний словник занять.

Для введення даних перепису населення використовуються такі макети:

форма 10 сільська «Супровідний лист на населений пункт, частину населеного пункту» (дод. 1);

форма 10 міська «Супровідний лист на населений пункт, частину населеного пункту» (дод. 2);

форма 1 «Список №_ проживаючих у приміщенні та їх житлові умови» (дод. 3);

форма 2с «Переписний лист» (дод. 4).

У результаті оброблення переписних листів населення одержують вихідні машинограми, повний перелік яких наведено в дод. 5. Форми і зміст основних машинограм наведено в дод. 6.