Управление эффективностью бизнеса

ETL-системы

Весьма важным представляется вопрос о взаимодействии систем, нахо­дящихся на разных уровнях аналитической пирамиды, и в этой связи нельзя не упомянуть программные продукты еще одного класса — ETL.

Под термином ETL (extraction, transformation, loading — извлечение, преобразование, загрузка) понимают три основных процесса, используе­мых при переносе данных из одной системы в другую. Программные средства этой категории извлекают исходную информацию из опреде­ленного источника, преобразуют ее в формат, поддерживаемый базой данных назначения, а затем загружают в базу назначения уже преобра­зованную информацию.

В части извлечения данных (extraction) ETL-системы могут использо­ваться без необходимости писать код для открытия файлов или чтения записей, хотя и требуют весьма трудоемкой настройки (как показывает практика, настройка ETL может составлять до 80% затрат на создание хранилища данных). Более того, некоторые ETL-системы включают в себя предварительно созданные процедуры извлечения данных из наиболее популярных транзакционных систем (впрочем, функциональность таких стандартных процедур часто оказывается довольно ограниченной).

По завершении извлечения данных требуется их преобразование (trans­formation) — подготовка к размещению в новой базе данных. Есть не­сколько способов преобразования, к которым относятся очистка, агре­гирование, перевод значений и создание полей.

Очистка (cleaning) применяется для того, чтобы отсеять неточные или неоправданно повторяющиеся данные из других систем. При очистке можно проверить корректность диапазонов числовых значений, прием­лемость дат и т. д. Процедуры очистки используются и тогда, когда одно и то же значение представлено в разных формах (например, разные по форме варианты названия компании — «Hyperion», «Hyperion Solutions Corp.», «корпорация Hyperion» — могут быть заменены на какое-то од­но). Очистка также может применяться для согласования атрибутов полей (чтобы они соответствовали единой нормативно-справочной ин­формации).

В процессе агрегирования (aggregation) многочисленные детальные записи заменяются относительно небольшим количеством обобщен­ных записей. В результате удается избежать излишней детализации и представить управленческую информацию в более удобном для анализа виде.

Перевод значений (value translation) — еще одна распространенная про­цедура преобразования, ее необходимость вызвана тем, что во многих системах данные часто хранятся в закодированном виде (например, персональный код сотрудника вместо его фамилии). Перевод значений предусматривает замену закодированных данных на более понятные описания, такие преобразования производятся на основе нормативно - справочной информации.

Создание полей (field derivation) применяется в том случае, если для конечных пользователей создается какая-либо новая информация. На­пример, если в исходной базе данных есть поле цены товара и поле объема продаж, то на их основе можно создать третье поле — выручки от реализации. Современные ETL-системы позволяют программистам использовать для создания новых полей математические операции, статистические функции, возможности работы со строками, арифмети­ческие действия и условную логику.

После того как все процедуры преобразования завершены, данные счи­таются готовыми к размещению в базе данных назначения. Для этого используются процедуры загрузки (loading). Здесь важно определить режим переноса: будет ли он происходить периодически (ежедневно, еженедельно или ежемесячно) или в постоянном (оперативном) режи­ме. Постоянное тиражирование предъявляет значительно более высокие требования к каналам связи, поэтому решение о постоянном режиме зависит от того, насколько пользователям необходима именно оператив­ная (а не периодическая) информация. Большинство современных ETL-систем поддерживают и постоянную, и периодическую загрузки данных. Некоторые продукты также позволяют переносить не все дан­ные, а только те, которые претерпели изменения.

При загрузке применяются разные схемы: при pull-тиражировании при­ложение назначения «вытягивает» данные по мере необходимости, а при push-тиражировании система «проталкивает» преобразованные данные в базу данных назначения. Возможен и смешанный подход, когда данные поступают в промежуточную базу, где преобразовываются, а затем по мере необходимости извлекаются приложением назначения. Впрочем, возникает серьезный вопрос о применимости push-тиражирования на данном этапе развития технологий, поскольку для этого система должна обладать полной информацией о базе данных назначения, а это — боль­шая редкость.

Для организации корректного переноса данных из одной системы в дру­гую важно хорошо представлять процессы ETL, а также структуру ис­точника данных и приложения назначения.

Управление эффективностью бизнеса

Практический опыт

В качестве иллюстрации рассмотрим производственный холдинг, имеющий в своем составе производственные предприятия и дист­рибьюторские компании. Головная компания группы размещает свои ценные бумаги на международной фондовой бирже, при этом обяза­тельным условием …

OLAP: история развития и характеристики

Идея обработки многомерных данных восходит к 1962 г., когда Кен Айверсон опубликовал свою работу «Язык программирования» (A Pro­gramming Language, APL)[25]. APL — это математически определенный язык с многомерными переменными и …

Сбор исходных данных

Несмотря на то, что процесс консолидации не является учетным про­цессом в классическом понимании, методология консолидации требует использования не только отчетности компаний группы, но и ряда до­полнительных показателей, необходимых как для …

Как с нами связаться:

Украина:
г.Александрия
тел. +38 05235 7 41 13 Завод
тел./факс +38 05235  77193 Бухгалтерия
+38 067 561 22 71 — гл. менеджер (продажи всего оборудования)
+38 067 2650755 - продажа всего оборудования
+38 050 457 13 30 — Рашид - продажи всего оборудования
e-mail: msd@inbox.ru
msd@msd.com.ua
Скайп: msd-alexandriya

Схема проезда к производственному офису:
Схема проезда к МСД

Представительство МСД в Киеве: 044 228 67 86
Дистрибьютор в Турции
и странам Закавказья
линий по производству ПСВ,
термоблоков и легких бетонов
ооо "Компания Интер Кор" Тбилиси
+995 32 230 87 83
Теймураз Микадзе
+90 536 322 1424 Турция
info@intercor.co
+995(570) 10 87 83

Оперативная связь

Укажите свой телефон или адрес эл. почты — наш менеджер перезвонит Вам в удобное для Вас время.