Проектирование процесса загрузки и ведения информационной базы данных

Под системой загрузки и ведения информационной базы пони­мают некоторый комплекс программной, методической и техни­ческой документации, с помощью которой пользователь может осуществить своевременную загрузку и актуализацию данных, хранение достоверных данных, обеспечивать секретность данных, защиту их от сбоев ЭВМ и своевременное восстановление утра­ченной 'информации. Проектирование системы загрузки и веде­ния информационной базы означает проектирование и получе­ние программной и технологической документации по следую­щим процедурам:

 

загрузка и актуализация данных;

обеспечение достоверности вводимых данных;

обеспечение защиты данных;

обеспечение надежности хранения данных.
Достоверность хранения данных в информационной базе под­разумевает отсутствие ошибок,.своевременность внесения изме­нений и непротиворечивость информации. Для обеспечения до­стоверности вводимых и хранимых данных необходимо выпол­нить следующие работы:

обеспечить контроль вводимой информации при выполнении процедур загрузки и актуализации информации;

обеспечить защиту хранимых данных от несанкционирован­ного доступа;

обеспечить одновременность актуализации одних и тех же данных, находящихся в разных файлах.

В процессе создания (загрузки) и актуализации информаци­онной базы используются интерактивный и пакетный режимы. Интерактивный режим создания и актуализации информацион­ной базы предполагает ввод или обновление отдельных записей файлов по мере необходимости. Режим интерактивного ввода или обновления данных в основном применяется при создании и ве­дении файлов оперативной информации, когда происходят по­лучение и оформление отдельных документов первичной инфор­мации (см. п. 8.1). Файлы оперативной информации создаются в режиме добавления записей по мере получения документов пер­вичной информации. В этом смысле процессы создания и добав­ления оперативных данных не различаются. Кроме того, процес­сы первоначального ввода данных и возможной последующей их корректировки имеют небольшие технологические отличия. На­пример, ввод заказа и внесение изменений в заказ предполагают работу с одной и той же экранной формой. В первом случае за­полняется пустая экранная форма, а во втором случае сначала вызывается заполненная экранная форма, а затем корректирует­ся. В том и другом случае выполняются одинаковые методы кон­троля. При удалении записи также сначала вызывается соответ­ствующая экранная форма для проверки целесообразности этой операции.

Пакетный режим создания и актуализации базы данных пред­полагает предварительный сбор пакета документов или подго­товку входного файла первичной информации, с которых осуще­ствляется загрузка (наполнение) основного файла или его обновление. Пакетный режим используется для работы с файлами опе­ративной информации только в тех случаях, когда требуется ве­дение централизованной базы данных из локальных источников при невозможности подключения этих источников к вычислитель­ной сети или из соображений оптимизации объема передачи дан­ных по вычислительной сети, например при поступлении учет­ной информации в бухгалтерию. Пакетный режим всегда исполь­зуется для создания файлов условно-постоянной информации в силу необходимости одноразового ввода большого объема дан­ных, а также часто используется при актуализации этих файлов вследствие, как правило, массового характера обновлений, например плановой информации или информации классифика­торов.

В силу сложности технологии пакетного режима рассмотрим особенности проектирования технологического процесса загруз­ки и актуализации информационной базы на примере файлов условно-постоянной информации.

Под загрузкой информационной базы будем понимать сово­купность операций по приему, контролю и регистрации посту­пившей информации, вводу информации в ЭВМ, контролю и исправлению ошибок, записи данных в информационный файл.

Содержание операций приема, контроля и регистрации посту­пившей информации зависит от типа носителя первичной инфор­мации. Если поступающая информация представлена на бумаж­ном носителе, то во время ее выполнения осуществляется следу­ющая совокупность действий:

контроль количества поступивших документов, полноты и качества их заполнения;

отбор правильно заполненных документов и их регистрация в регистрационном журнале;

отбраковка документов, не соответствующих требованиям, предъявляемым к документам;

формирование запроса на исправление документов с ошиб­ками и отсылка их к источнику информации, т.е. в то подраз­деление, из которого они поступили.

Если информация поступает на машинном носителе (гибком диске), то в этом случае проверяется качество записи диска, реги­стрируются имя файла, объем, источник и время поступления.

При поступлении информации по каналам связи определяют­ся источник поступления, время, количество поступивших записей Операция ввода информации в ЭВМ может осуществляться несколькими методами:

ручной ввод данных с бумажных документов с использовани­ем макетов экранных форм;

автоматизированное чтение данных, содержащихся в докумен­тах на бумажных носителях, и загрузка их в информацион­ную базу (см. п. 8.3).

При вводе больших объемов информации в ЭВМ с клавиату­ры оператором допускается значительное количество ошибок, которые необходимо выявить и устранить. При этом контроль вводимой информации, как правило, осуществляется с использо­ванием следующих методов:

визуальный контроль на экране дисплея;

метод контрольных сумм, рассчитываемых по каждой строке документа или по всему документу до ввода в ЭВМ и после ввода, которые затем сверяются между собой;

метод верификации, при котором осуществляется сверка ра­нее введенных данных, записанных в файл, и данных первич­ных документов, вводимых оператором второй раз;

метод двойного массива, при котором файлы по первичным документам создаются двумя разными операторами и после ввода сверяются по контрольным числам, вычисляемым для
каждого из них.

Проверенные и исправленные данные заносятся в файл ин­формационной базы.

Схема технологической сети проектирования процедуры па­кетной загрузки базы данных при ручном способе ввода данных первичных документов отражена на рис. 8.1.

Первой выполняется операция «Определение особенностей подготовки данных и формирование требований к системе загруз­ки» (Ш). Для выполнения этой операции необходимо распола­гать технологической документацией, описывающей правила работы при получении первичной информации (Д1.1).

Можно выделить следующие особенности подготовки фай­лов данных:

внемашинные форматы данных могут не совпадать с внутримашинными форматами;

получение и подготовка первичной информации с помощью разнообразных технических средств могут привести к рассог­ласованию кодов представления вводимой информации и ко­дов ее представления в ЭВМ;

все операции по подготовке файлов являются машинно-руч­ными, поэтому следует учитывать большое количество воз­можных ошибок;

вводимые файлы могут иметь линейную или иерархическую логическую Структуру, которую следует учитывать в процес­се загрузки;

структуры записей входных файлов могут не совпадать со структурой записей базы данных.

Результатом выполнения этой операции является получение списка требований к процедуре загрузки СШ-2). К основным тре­бованиям, предъявляемым к процедуре загрузки, можно отнести следующие:

необходимо обеспечение достоверности вводимой информации;

должны выдаваться сообщения об ошибках и местах их воз­никновения;

требуется обеспечение контроля вводимой информации на уровне файла, записи, поля;

загрузка должна обеспечить перекодирование информации в случае рассогласования кодов;

должно обеспечиваться преобразование файлов во внутрен­ние форматы;

должны выполняться редактирование, сортировка и распечат­ка файлов с постоянной информацией.

Второй операцией рассматриваемого процесса служит опе­рация П2 «Определение состава операций ввода и первичной обра­ботки загружаемых файлов». Входной информацией для данной работы являются требования к процедуре загрузки (Д1.2), выход­ной - состав операций или блок-схема технологического процес­са загрузки (Д2.1). Исходя из требований, предъявляемых к про­цедуре загрузки, выделяют следующие типовые операции, входя­щие в состав этой процедуры:

ввод входных данных и их перекодирование;

синтаксический и семантический контроль;

распечатка «Ведомости ошибок», анализ ошибок и создание файла корректур;

ввод файла корректур в ЭВМ;

корректировка входного файла с целью исправления в нем ошибок;

редактирование входного исправленного файла;

формирование записей основного файла;

сортировка или индексирование основного файла с постоян­ной информацией;

распечатка файла с постоянной информацией.

Особое внимание должно быть уделено разработке програм­мы синтаксического и семантического контроля загружаемой информации в информационную базу. Синтаксический контроль может осуществляться на уровне структуры файла, записи и от­дельного поля. Контроль на уровне файла сводится к контролю типов записей, соподчиненности различных типов записей (заго­ловок, подзаголовок), количества экземпляров каждого типа за­писи. Контроль на уровне записи сводится к контролю числа по­лей, их последовательности и длины записи. Контрольна уровне поля включает в себя контроль типа и формата поля.

Семантический контроль сводится к арифметическому и ло­гическому контролю содержимого отдельных полей. Арифмети­ческий контроль осуществляется следующими методами:

контрольных сумм по документу;

контрольных сумм по отдельной записи;

контрольного числа по файлу;

контроля по модулю 11;

балансовый контроль.

Логический контроль применяется для реквизитов-признаков и оснований, и при его построении используют следующие виды контроля:

контроль на конкретное значение;

контроль на диапазон значений;

контроль путем сравнения с некоторой константой;

контроль зависимостей значений реквизитов;

контроль по списку значений (справочнику).

На следующей операции (ПЗ) осуществляется «Выбор инстру­ментального средства разработки программ загрузки информаци­онной базы» на основе универсума программных средств частич­ной автоматизации, служебных средств операционной системы и языков программирования (113.1). На вход данной операции по­ступают блок-схема технологического процесса загрузки (ДОЛ) и факторы, определяющие выбор инструментальных средств (Д3.1). На выходе получают описание выбранных инструментальных средств и методическое обеспечение по их настройке (Д3.2).

К инструментальным средствам частичной автоматизации от­носятся: генераторы экранных форм СУБД, специализированные генераторы ввода-вывода и утилиты. К основным факторам, влия­ющим на выбор средств частичной автоматизации, можно отнести:

количество и характер функций, выполняемых данным сред­ством, например возможность работы с многоэкранными формами или экранными формами, предназначенными для вво­да данных в несколько файлов;

наличие большого объема свободных вычислительных ресур­сов;

квалификация персонала;

возможность подключения оригинальных программных средств.

Программные средства частичной автоматизации загрузки данных можно разделить по принципу функционирования на конверторы, предназначенные для преобразования данных, со­здаваемых в других информационных системах, и программы непосредственной загрузки интерпретирующего или генерирую­щего типа.

Результатом выполнения данной операции является выбор конкретных средств частичной автоматизации процедуры загруз­ки или языков программирования, или их комбинации.

Далее осуществляется операция «Настройки средств частич­ной автоматизации или разработка программ» (П4). В результате формируется программная документация по данной процедуре, в том числе блок-схемы программных модулей (Д4.1), коды про­граммных модулей (Д4.2) и схемы настройки средств частичной автоматизации (Д4.3).

 

 

На операции П5 осуществляется «Комплексная отладка про­граммы загрузки информации в базу данных» на основе исходных данных для контрольного примера (Д5.1) с получением отлажен­ной программы процедуры (Д5.2), распечаток результатов реа­лизации контрольного примера (Д5.3) и создание технологичес­кой документации по процедуре загрузки (Д5.4).

Под актуализацией данных будем понимать совокупность операций над файлами информационной базы, связанных с до­бавлением новых записей, удалением старых, изменением содер­жания отдельных полей записей.

Процесс проектирования процедуры актуализации условно-постоянной информации в базе данных (технологической сети процесса) представлен на рис. 8.2. Он начинается с операции «Раз­работка системы организации актуализации данных в ИБ» (Ш), сущность которой заключается в определении подразделений -источников изменений, разработке форм документа «Извещение на изменения» и экранных форм, определении маршрутов пере­движения этого документа от подразделения-источника до вво­да информации об изменениях в ЭВМ, определении регламента и режима ввода изменений. Входная информация, используемая при выполнении данной работы, включает описание структуры информационной базы (Д1.2) и описание принципов ее организации (Д1.1). Выходная информация включает в свой состав следующие документы:

список поставщиков изменяемой информации (Д1.3);

формы первичного документа «Извещение на изменение» (Д1.6);

описания маршрутов движения извещениях (Д1 -7);

режимы внесения изменений (Д1.4);

совокупность файлов, обновляемых одновременно (Д1.8).
Второй выполняется операция «Разработка технологическо­го процесса внесения изменений» (ГО). На вход данной операции
поступают список поставщиков информации, формы первично­го документа «Извещения на изменения», описание маршрутов движения «Извещения», макеты экранных форм размещения ин­формации об изменениях, режимы внесения изменений. Резуль­татом выполнения данной операции являются блок-схема техно­логического процесса актуализации данных (ДОЛ) и.технологическая документация (Д2.2). Можно выделить следующие типовыеоперации технологического процесса актуализации данных:

выписка «Извещения» - данная операция выполняется в под­разделениях предприятия - источниках изменений. Ее резуль­тат поступает в виде первичного документа «Извещения» впункт ввода информации;

прием, контроль и регистрация извещений;

ручная корректировка «Ведомости описи» актуализируемого
основного файла с постоянной информацией;

ввод информации извещений в ЭВМ;

контроль правильности записи информации;

исправление ошибок и формирование входного файла изме­нений;

сортировка файла изменений;

ввод записей основного файла, требующего изменений;

актуализация основного файла;

распечатка актуализированного основного файла;

сверка начальной и полученной описей основногр файла. При наличии расхождений - повторное выполнение вышеперечис­ленных операций.

Последующие операции «Выбор метода актуализации и ин­струментального средства разработки процедуры актуализации

информационной базы» (ПЗ), «Настройка и разработка програм­мных средств» (П4), «Отладка программ и создание технологи­ческой документации» (П5) выполняются аналогично операциям в технологической сети проектирования процедуры загрузки ин­формационной базы.

Для поддержания надежности хранимых данных при сбоях в работе ЭВМ и разрушениях информационной базы требуется система резервирования и восстановления, технологическая сеть создания которой представлена на рис. 8.3.

Содержанием первой операции является «Выбор метода хра­нения и восстановления информации» (П1). Проектировщики ис­пользуют несколько методов хранения информации в информа­ционной базе (Д1.1):

метод дублирования основных файлов и хранения несколькихих копий;

метод создания и хранения нескольких поколений каждого основного файла ИБ и файлов корректур к ним;

комбинированную систему нескольких поколений с дублиро­ванием последнего поколения и файлов корректур.

В результате выполнения операции Ш получают документ Д1.2, описывающий выбранный метод хранения информации в информационной базе.

Далее проектировщики должны разработать и отладить про­грамму отката и восстановления данных на контрольном примере (ГО, ПЗ), в результате выполнения которой получают отлажен­ный код программы (Д3.1), предназначенной для восстановле­ния хранимых данных в случае сбоя системы при выполнении об­ращений прикладных программ к файлам ИБ или при выполне­ний процедурк актуализации данных, результатные данные контрольного примера (Д3.2).

Следующей является операция «Разработка технологии вос­становления и хранения данных» (П4) и составления технологи­ческой документации (Д4.1).

Помимо этого необходимо также спроектировать систему учета эксплуатации файлов, в которую входят: разработка (П5) «Журнала учета» (Д5.1), составление и отладка кода программы ведение статистики обращения к файлам (П6, П7) с получением программной документации (Д7.1) и контрольного примера (Д7.2), разработка технологии копирования файлов (Ш) с получе: нием соответствующей технологической документации (Д8.1). Проектирование процедур защиты