Принципы проектирования и использования многомерных баз данных

Принципы проектирования и использования многомерных баз данных

Кафедра "КСУ"

Реферат

"Принципы проектирования и использования многомерных баз данных"

Введение

Сегодня все большее число организаций приходит к пониманию того, что без

наличия своевременной и объективной информации о состоянии рынка,

прогнозирования его перспектив, постоянной оценки эффективности

функционирования собственных структур и анализа взаимоотношений с бизнес-

партнерами и конкурентами их дальнейшее развитие становится практически

невозможным. Поэтому не удивительно то внимание, которое сегодня уделяется

средствам реализации и концепциям построения информационных систем,

ориентированных на аналитическую обработку данных. И в первую очередь это

касается систем управления базами данных, основанными на многомерном

подходе - МСУБД.

Следует заметить, что МСУБД не являются изобретением девяностых годов, а

сам многомерный подход возник практически одновременно и параллельно с

реляционным. Однако, только начиная с середины девяностых годов, а точнее с

1993 г., интерес к МСУБД начал приобретать всеобщий характер. Именно в этом

году появилась новая программная статья одного из основоположников

реляционного подхода Э. Кодда [1], в которой он сформулировал 12 основных

требований к средствам реализации OLAP (табл. 1) и произвел анализ

некоторых как субъективных, так и вполне объективных недостатков

реляционного подхода, затрудняющих его использование в задачах, требующих

сложной аналитической обработки данных.

|1 |Многомерное представление |Средства должны поддерживать многомерный на|

| |данных |концептуальном уровне взгляд на данные. |

|2 |Прозрачность |Пользователь не должен знать о том, какие |

| | |конкретные средства используются для |

| | |хранения и обработки данных, как данные |

| | |организованы и откуда они берутся. |

|3 |Доступность |Средства должны сами выбирать и связываться|

| | |с наилучшим для формирования ответа на |

| | |данный запрос источником данных. Средства |

| | |должны обеспечивать автоматическое |

| | |отображение их собственной логической схемы|

| | |в различные гетерогенные источники данных. |

|4 |Согласованная |Производительность практически не должна |

| |производительность |зависеть от количества Измерений в запросе.|

|5 |Поддержка архитектуры |Средства должны работать в архитектуре |

| |клиент-сервер |клиент-сервер. |

|6 |Равноправность всех измерений |Ни одно из измерений не должно быть |

| | |базовым, все они должны быть равноправными |

| | |(симметричными). |

|7 |Динамическая обработка |Неопределенные значения должны храниться и |

| |разреженных матриц |обрабатываться наиболее эффективным |

| | |способом. |

|8 |Поддержка |Средства должны обеспечивать возможность |

| |многопользовательского режима |работать более чем одному пользователю. |

| |работы с данными | |

|9 |Поддержка операций на основе |Все многомерные операции (например |

| |различных измерений |Агрегация) должны единообразно и |

| | |согласованно применяться к любому числу |

| | |любых измерений. |

|10 |Простота манипулирования |Средства должны иметь максимально удобный, |

| |данными |естественный и комфортный пользовательский |

| | |интерфейс. |

|11 |Развитые средства представления|Средства должны поддерживать различные |

| |данных |способы визуализации (представления) |

| | |данных. |

|12 |Неограниченное число измерений |Не должно быть ограничений на число |

| |и уровней агрегации данных |поддерживаемых Измерений. |

Таблица 1. (12 правил оценки средств для OLAP).

Набор этих требований, послуживших де-факто определением OLAP, достаточно

часто вызывает различные нарекания, так как здесь смешаны:

. собственно требования, например п.п. 1, 2, 3, 6;

. не формализуемые пожелания, например п.п. 10, 11;

. требования к компьютерной архитектуре, а не к программным средствам,

например, непонятно, почему аналитическая система отвечающая 11

требованиям из 12, но реализованная на основе Unix-станции с

терминалами, не является OLAP - п.п. 5. Тем более, что уже есть п. 2

(Прозрачность) и п. 3 (Доступность).

Многомерное представление данных и OLAP уже стали сегодня одними из

наиболее широко распространенных концепций построения аналитических систем.

Требования к средствам реализации систем оперативной и аналитической

обработки данных

При первом знакомстве с многомерным подходом к организации данных

достаточно часто возникают два противоречивых вопроса.

Для чего собственно нужны МСУБД и нужно ли тратить время и средства на их

освоение и приобретение, если все те же задачи можно решить и средствами

традиционных РСУБД?

И обратный:

Почему МСУБД ограничивают себя исключительно приложениями,

ориентированными на анализ данных и почему бы на их основе не реализовывать

традиционные системы оперативной обработки данных?

И несмотря на то, что эти вопросы выражают достаточно противоположные

точки зрения, ответ на них звучит приблизительно одинаково: "Главное

достоинство МСУБД состоит именно в том, что они узко специализированны и

область их применения - интерактивная аналитическая обработка

агрегированных исторических и прогнозируемых данных".

Агрегированные данные. Пользователя, занимающегося анализом, редко

интересуют детализированные данные. Более того, чем выше уровень

пользователя (руководителя, управляющего, аналитика), тем выше уровень

агрегации данных, используемых им для принятия решения. Рассмотрим в

качестве примера фирму по продаже автомобилей. Коммерческого директора

такой фирмы мало интересует вопрос: "Какого цвета "Жигули" успешнее всего

продает один из ее менеджеров - Петров: белого или красного?" Для него

важно, какие модели и какие цвета предпочитают в данном регионе. Его также

мало интересует детализация на уровне контракта, часа или даже дня.

Например, если выяснится, что "ВАЗ2108 Красного цвета" чаще покупают в

утренние часы, этот факт скорее заинтересует психиатра, а не коммерческого

аналитика. Для правильного формирования склада ему важна и необходима

информация на уровне декады, месяца или даже квартала.

Исторические данные. Важнейшим свойством данных в аналитических задачах

является их Исторический характер. После того как зафиксировано, что Петров

в июне 1996 г. продал 2 автомобиля "Волга" и 12 автомобилей "Жигули",

данные об этом событии становятся историческим (свершившимся) фактом. И

после того, как информация об этом факте получена, верифицирована и

заведена в БД, она может быть сколько угодно раз считана оттуда, но уже не

может и не должна быть изменена. Историчность данных предполагает не только

высокий уровень статичности (неизменности) как собственно данных (например:

Петров продал в 1995 г. 51 автомобиль "Жигули ВАЗ2105"), так и их

взаимосвязей (например: в 1995 г. Петров работал в Восточном Регионе; в

1995 г. продавались автомобили модели ВАЗ2105). А это, в свою очередь, дает

возможность использовать специализированные, основанные на предположении о

статичности данных и их взаимосвязей методы загрузки, хранения, индексации

и выборки.

Другим неотъемлемым свойством Исторических данных является обязательная

спецификация Времени, которому эти данные соответствуют. Причем Время

является не только наиболее часто используемым критерием выборки, но и

одним из основных критериев, по которому данные упорядочиваются в процессе

обработки и представления пользователю. А это накладывает соответствующие

требования как на используемые механизмы хранения и доступа:

для уменьшения времени обработки запросов желательно, чтобы уже в БД

данные хранились (были предварительно отсортированы) в том порядке, в

котором они наиболее часто запрашиваются;

так и на языки описания и манипулирования данными, например:

во многих организациях используются как общепринятые, так и собственные

календарные циклы (финансовый год может начинаться не в январе как

календарный, а, например, в июне);

время является стандартным параметром практически любой аналитической,

статистической или финансовой функции (прогноз, нарастающий итог,

переходящий запас, скользящее среднее и т.д.).

Прогнозируемые данные. Когда говорится о неизменности и статичности

данных в аналитических системах, имеется в виду неизменность исключительно

Исторических данных (данных, описывающих уже произошедшие события). Такое

предположение ни в коем случае не распространяется на Прогнозируемые данные

(данные о событии, которое еще не происходило). И этот момент является

весьма существенным.

Например, если мы строим прогноз об объеме продаж на июнь 1997 г. для

менеджера Петрова, то, по мере поступления фактических (Исторических)

данных за 1996 г., эта цифра может и будет многократно изменяться и

уточняться. Более того, достаточно часто прогнозирование и моделирование

затрагивает не только будущие, еще не произошедшие, но и прошлые, уже

свершившиеся события. Например, анализ: "а, что будет (было бы)... если

(бы)..?", строится на предположении о том, что значения некоторых данных, в

том числе и из прошлого, отличны от реальных. И для ответа на вопрос:

"Какой был бы Прогноз по объему продаж автомобилей "Волга" для менеджера

Петрова на июнь 1997 г., если бы объем продаж "Волг" в июне 1996 г. у него

возрос на тот же процент, что объем продаж "Жигулей"?"

потребуется не только вычислить новое, еще не существующее значение

Объема Продаж, для еще не наступившего июня 1997 г., но и предварительно

вычислить гипотетическое значение Объема продаж, за уже прошедший июнь 1996

г.

На первый взгляд, мы сами противоречим себе, говоря о неизменности

данных, как основополагающем свойстве аналитической системы. Но это не так.

Это кажущееся противоречие наоборот подчеркивает и усиливает значимость

требований к неизменности Исторических данных. Сколько бы мы не упражнялись

(например, при анализе: "а что... если..?") со значением объема продаж за

июнь 1996 г., значения Исторических (реальных) данных должны оставаться

неизменными. Конечно, предположение о неизменности не означает

невозможности исправления ошибок, если они были обнаружены в Исторических

данных.

В свою очередь, к оперативным данным, отражающим состояние некоторой

предметной области в данный текущий момент времени, не применимы такие

понятия, как прошлое или будущее. Для них существует единственное понятие -

сейчас, а их основное назначение - адекватное детализированное отображение

текущих событий (изменений), происходящих в реальном мире. Например:

менеджер Петров продал еще одни "Жигули ВАЗ2106";

менеджера Петрова перевели из Восточного филиала фирмы в Западный.

Вместе с тем изменчивость Оперативных данных ни в коем случае не

подразумевает их близость по свойствам к Прогнозируемым данным. Между ними

существует коренное различие. Оперативным данным, в отличие от

Прогнозируемых, присуще свойство общезначимости, и обычно все пользователи

работают с одним и тем же экземпляром данных. После того как в оперативную

систему заведены данные о том, что Петров продал еще один автомобиль, эта

информация сразу же должна стать доступной всем заинтересованным в ней

пользователям. Причем до тех пор, пока это изменение не зафиксировано, ни

какой другой пользователь не имеет права изменять строку с информацией о

продажах Петрова.

Существенно иная ситуация с Прогнозируемыми данными. Они носят, скорее,

личностный (индивидуальный) характер. Вполне реальна ситуация, когда

коммерческий директор фирмы и управляющий региональным отделением

одновременно решили получить прогноз возможного объема продаж на 1997 г.

для Петрова. Однако каждый из них делает собственный прогноз. Каждый из них

может использовать свои функции прогнозирования, и, даже если применяется

один и тот же метод (или функция), прогноз может основываться на различных

исторических интервалах, и результаты, по всей вероятности, будут различны.

Поэтому каждый из них работает с собственным экземпляром Прогнозируемых

данных (хотя эти данные и относятся формально к одной и той же личности,

виду деятельности и времени), и эти данные не должны смешиваться. Конечно,

вполне вероятно, что один из этих вариантов будет принят в качестве

плановых показателей для Петрова. Но после того, как Прогноз утвержден в

качестве Плана, данные просто перейдут в другую категорию и станут

Историческими.

Следует заметить, что в области информационных технологий всегда

существовало два взаимодополняющих друг друга направления развития:

. системы, ориентированные на оперативную (транзакционную или

операционную) обработку данных;

. системы, ориентированные на анализ данных - системы поддержки принятия

решений (DSS).

И практически до настоящего времени, когда говорилось о стремительном

росте числа реализаций информационных систем, прежде всего имелись в виду

системы, предназначенные исключительно для оперативной обработки данных.

Именно для этого изначально и создавались и на это были ориентированы

РСУБД, которые сегодня стали основным средством построения информационных

систем самого различного масштаба и назначения. Но, являясь

высокоэффективным средством реализации систем оперативной обработки данных,

РСУБД оказались менее эффективными в задачах аналитической обработки.

Конечно, средствами традиционных РСУБД и на основании данных, хранящихся

в реляционной БД, можно построить заранее регламентированный аналитический

отчет (табл. 2) и даже Прогноз об ожидаемом объеме продаж автомобилей на

следующий год.

|Характеристика |Статический анализ |Динамический анализ |

|Типы вопросов |Сколько? Как? Когда? |Почему? Что будет если? |

|Время отклика |Не регламентируется |Секунды |

|Типичные операции |Регламентированный отчет, |Последовательность |

| |диаграмма |интерактивных отчетов, |

| | |диаграмм, экранных форм; |

| | |динамическое изменение |

| | |уровней агрегации и срезов |

| | |данных |

|Уровень |Средний |Высокий |

|аналитических | | |

|требований | | |

|Тип экранных форм |В основном определенный |Определяемый пользователем |

| |заранее, регламентированный | |

|Уровень агрегации |Детализированные и суммарные |В основном суммарные |

|данных | | |

|Возраст данных |Исторические и текущие |Исторические, текущие и |

| | |прогнозируемые |

|Типы запросов |В основном предсказуемые |Непредсказуемые, от случаю к |

| | |случаю |

|Назначение |Работа с историческими и |Работа с историческими, |

| |текущими данными, |текущими и прогнозируемыми |

| |регламентированная |данными. Многопроходный |

| |аналитическая обработка и |анализ, моделирование |

| |построение прогнозов | |

Таблица 2. (Сравнение характеристик статического (регламентированного) и

динамического анализа).

Но, как правило, после просмотра такого отчета у пользователя (аналитика)

появится не готовый ответ, а новая серия вопросов. Однако, если бы ему

захотелось получить ответ на новый вопрос, он может ждать его часы, а

иногда и дни. Обычно каждый новый непредусмотренный заранее запрос должен

быть сначала формально описан, передан программисту, запрограммирован и,

наконец, выполнен. Но после того, как аналитик получит долгожданный ответ,

достаточно часто оказывается, что решение не могло ждать и оно уже принято,

или что случается еще чаще, произошло взаимное непонимание и получен ответ

на не совсем тот вопрос. Впрочем, не намного меньшее время затрачивается и

на получение ответа и на заранее описанный и запрограммированный запрос.

Страницы: 1, 2