Ascential DataStage XE — построение хранилищ данных. И не только...

Июль — Август 2002

Ascential DataStage XE — построение хранилищ данных. И не только...

Виталий Патешман

Оценка и контроль качества данных

Эффективность работы аналитической системы напрямую зависит от качества данных и достоверности информации. Модуль Ascential Quality Manager, интегрируемый с DataStage, позволяет проводить аудит исходных данных и контролировать данные в приемниках и улучшает процесс преобразования.

На появление «грязных» данных влияют различные факторы, среди которых:

• дублирование атрибутов;
• неправильные значения;
• неправильные временные зависимости;
• неразумные связи;
• отсутствие данных;
• нарушения в бизнес-правилах;
• дублированные ключи;
• ошибки вычислений;
• ошибочные интервалы;
• нестандартные форматы;
• отсутствие ссылочной целостности;
• плохое сочетание данных между различными источниками;
• отсутствие синхронизации между источниками и приемниками.

Средства обеспечения качества данных позволяют быстро формировать процессы преобразования информации, предоставляющие полную картину о качестве данных в источниках. Quality Manager обеспечивает идентификацию проблем, связанных с качеством данных, и их разрешение, что существенно влияет на успех проекта и гарантирует актуальность информации в хранилище данных и витринах.

К возможностям Quality Manager относятся:

• осуществление автоматического анализа домена для определения соответствия значения качественным данным по тем или иным принципам;
• раскрытие степени соответствия имеющихся данных структуре, определенной явным или неявным образом за счет просмотра таблиц и связей;
• проведение оценки данных на строгое соответствие корпоративным бизнес-правилам и стандартам;
• исследование взаимосвязи элементов в базе данных для определения удовлетворения их бизнес-требованиям.

Определение условий, в соответствии с которыми данные считаются «чистыми», — первый шаг на пути повышения качества данных, так же как и процессы, ответственные за «грязные» данные. Входящие в состав Quality Manager функции позволяют провести количественную оценку влияния и стоимости дефектов в данных, которые не были раскрыты, и предоставляют средства для определения программ совершенствования качества данных.

Что касается ОС, то серверные компоненты могут работать как под NT, так и под UNIX. При этом, как уже говорилось выше, существует возможность использовать вычислительные ресурсы имеющихся мейнфреймов. В России DataStage XE (а также его компоненты по отдельности) — единственный продукт своего класса, получивший распространение, в том числе в банковской и финансовой сферах. Например, один из крупнейших российских банков применяет DataStage для управления хранилищем данных, используемым для подготовки различных банковских отчетов. Опыт по его применению показал высокую скорость внедрения хранилища и возможность гибкого управления, что говорит о значительном сокращении риска неудачи проекта, издержек и эффективной работе систем бизнес-анализа.

По материалам компании «Терн».

Назад

», № 7—8 2002