Понятие транзакции и параллельная обработка. OLTP, OLAP, Data Mining технологии.
Концепция транзакций – неотъемлемая часть любой клиент-серверной базы данных. Транзакция - неделимая с точки зрения воздействия на БД последовательность операторов манипулирования данными (чтения, удаления, вставки, модификации), приводящая к одному из двух возможных результатов: либо последовательность выполняется, если все операторы правильные, либо вся транзакция откатывается, если хотя бы один оператор не может быть успешно выполнен. Обработка транзакций гарантирует целостность информации в базе данных. Таким образом, транзакция переводит базу данных из одного целостного состояния в другое. При выполнении транзакции система управления базами данных должна придерживаться определенных правил обработки набора команд, входящих в транзакцию. В частности, разработано четыре правила, известные как требования ACID (Atomicity, Consistency, Isolation, Durability – неделимость, согласованность, изолированность, устойчивость), они гарантируют правильность и надежность работы системы. OLTP –оперативная транзакционная обработка данных. OLAP –оперативная аналитическая обработка данных Характеристики OLTP системы:Большой объем информации, Часто различные БД для разных подразделений, Нормализованная схема, отсутствие дублирования информации, Интенсивное изменение данных, Транзакционный режим работы, Транзакции затрагивают небольшой объем данных, Обработка текущих данных – мгновенный снимок, Много клиентов, Малое время отклика – несколько секунд Характеристики OLAP системы:Большой объем информации, Синхронизированная информация из различных БД с использованием общих классификаторов, Ненормализованная схема БД с дубликатами, Данные меняются редко, Изменение происходит через пакетную загрузку, Выполняются сложные нерегламентированные запросы над большим объемом данных с широким применением группировок и агрегатных функций, Анализ временных зависимостей, Небольшое количество работающих пользователей – аналитики и менеджеры, Большее время отклика (но все равно приемлемое) – несколько минут Четыре группы характеристик OLAP по Кодду: основные характеристики (многомерность модели данных, интуитивные механизмы манипулирования данными, доступность данных, пакетное извлечение данных, архитектура «клиент–сервер», прозрачность, многопользовательская работа); характеристики построения отчетов (гибкое построение отчетов, стабильная производительность при построении отчетов, автоматическое регулирование физического уровня); Типы OLAP – серверов: 1. MOLAP (Multidimensional OLAP) - и детальные данные, и агрегаты хранятся в многомерной БД. 2. ROLAP (Relational OLAP) - детальные данные храняться в реляционной БД; агрегаты хранятся в той же БД в специально созданных служебных таблицах. 3. HOLAP (Hybrid OLAP) - детальные данные храняться в реляционной БД, а агрегаты хранятся в многомерной БД. OLAP: Решаемые задачи: Понимание бизнеса: интегрированный взгляд, Поддержка принятия решений, Бизнес прогнозы. Пользователи OLAP систем: Руководители и менеджмент, Бизнес-аналитики, маркетологи и аналитики по планированию развития, Руководители среднего и младшего звена, Рядовые сотрудники, Сотрудники ИТ служб и др Data Mining (Извлечение знаний) - технология анализа данных, поиска новых общих закономерностей в больших наборах данных, включающая в себя использование методов и алгоритмов статистики, распознавания образов, машинного обучения, искусственного интеллекта. Область использования: Банки и финансовые организации, телекоммуникация, торговля, медицина. Цель извлечения знаний - построение прогнозирующей или дескриптивной модели. Прогнозирующие модели в явном виде содержат информацию для прогноза. Типы: классификация(для создания надо набор классифицированных случаев), регрессия Дескриптивные модели описывают общие закономерности предметной области. Типы: Кластерные(разбиение данных на разные группы по критерию «похожести»), ассоциативные
|
