Понятие транзакции и параллельная обработка. OLTP, OLAP, Data Mining технологии.

Концепция транзакций – неотъемлемая часть любой клиент-серверной базы данных.

Транзакция - неделимая с точки зрения воздействия на БД последовательность операторов манипулирования данными (чтения, удаления, вставки, модификации), приводящая к одному из двух возможных результатов: либо последовательность выполняется, если все операторы правильные, либо вся транзакция откатывается, если хотя бы один оператор не может быть успешно выполнен. Обработка транзакций гарантирует целостность информации в базе данных. Таким образом, транзакция переводит базу данных из одного целостного состояния в другое. При выполнении транзакции система управления базами данных должна придерживаться определенных правил обработки набора команд, входящих в транзакцию. В частности, разработано четыре правила, известные как требования ACID (Atomicity, Consistency, Isolation, Durability – неделимость, согласованность, изолированность, устойчивость), они гарантируют правильность и надежность работы системы.

OLTP –оперативная транзакционная обработка данных. OLAP –оперативная аналитическая обработка данных

Характеристики OLTP системы:Большой объем информации, Часто различные БД для разных подразделений, Нормализованная схема, отсутствие дублирования информации, Интенсивное изменение данных, Транзакционный режим работы, Транзакции затрагивают небольшой объем данных, Обработка текущих данных – мгновенный снимок, Много клиентов, Малое время отклика – несколько секунд

Характеристики OLAP системы:Большой объем информации, Синхронизированная информация из различных БД с использованием общих классификаторов, Ненормализованная схема БД с дубликатами, Данные меняются редко, Изменение происходит через пакетную загрузку, Выполняются сложные нерегламентированные запросы над большим объемом данных с широким применением группировок и агрегатных функций, Анализ временных зависимостей, Небольшое количество работающих пользователей – аналитики и менеджеры, Большее время отклика (но все равно приемлемое) – несколько минут

Четыре группы характеристик OLAP по Кодду:

основные характеристики (многомерность модели данных, интуитивные механизмы манипулирования данными, доступность данных, пакетное извлечение данных, архитектура «клиент–сервер», прозрачность, многопользовательская работа);
специальные характеристики (обработка ненормализованных данных, хранение результатов отдельно от исходных данных, выделение отсутствующих данных, обработка отсутствующих значений);

характеристики построения отчетов (гибкое построение отчетов, стабильная производительность при построении отчетов, автоматическое регулирование физического уровня);
управление размерностью (общая функциональность, неограниченное число измерений и уровней агрегирования, неограниченные операции между данными различных измерений).

Типы OLAP – серверов:

1. MOLAP (Multidimensional OLAP) - и детальные данные, и агрегаты хранятся в многомерной БД.

2. ROLAP (Relational OLAP) - детальные данные храняться в реляционной БД; агрегаты хранятся в той же БД в специально созданных служебных таблицах.

3. HOLAP (Hybrid OLAP) - детальные данные храняться в реляционной БД, а агрегаты хранятся в многомерной БД.

OLAP: Решаемые задачи: Понимание бизнеса: интегрированный взгляд, Поддержка принятия решений, Бизнес прогнозы. Пользователи OLAP систем: Руководители и менеджмент, Бизнес-аналитики, маркетологи и аналитики по планированию развития, Руководители среднего и младшего звена, Рядовые сотрудники, Сотрудники ИТ служб и др

Data Mining (Извлечение знаний) - технология анализа данных, поиска новых общих закономерностей в больших наборах данных, включающая в себя использование методов и алгоритмов статистики, распознавания образов, машинного обучения, искусственного интеллекта.

Область использования: Банки и финансовые организации, телекоммуникация, торговля, медицина.

Цель извлечения знаний - построение прогнозирующей или дескриптивной модели.

Прогнозирующие модели в явном виде содержат информацию для прогноза. Типы: классификация(для создания надо набор классифицированных случаев), регрессия

Дескриптивные модели описывают общие закономерности предметной области. Типы: Кластерные(разбиение данных на разные группы по критерию «похожести»), ассоциативные