Visa или MasterCard? Карту какой платежной системы выбрать? Кто на свете всех богаче? Анализ роста благосостояния в мире.

Филиалы, данные, анализ

Ольга Заратуйченко

Требования к аналитическим системам

Система финансового анализа — это инструмент, с помощью которого опытный аналитик может производить любую обработку данных, необходимую для составления заключений и рекомендаций по работе банка. Задача такой системы чрезвычайно проста и заключается в том, чтобы подготовить управляющему персоналу специальные данные для дальнейшего рассмотрения и исследования, причем в том виде, в котором их желают видеть те, кто принимает стратегически важные решения, влияющие на развитие банка. Для выполнения этой задачи аналитической системе должны быть присущи следующие свойства:

Перечисленные требования относятся к инструментальным средствам анализа данных, которые, собственно, и представляют собой аналитическую систему. Однако для решения поставленной задачи помимо инструментальных средств необходимо также иметь методику проведения анализа, учитывающую специфику работы анализируемых подразделений, и исходные данные, на которых основывается анализ.

Структура аналитической системы

Рассмотрим основные принципы, на которых базируется система анализа, работающая в составе банковской интегрированной системы «БИСквит». Основным элементом рассматриваемой далее системы анализа является новая версия модуля «Финансовый анализ и отчетность», который в совокупности с другими элементами ИБС выполняет роль системы анализа. Система анализа оперирует данными, хранящимися в базе данных ИБС, которая состоит из транзакционной и аналитической составляющих. Рассматриваемый модуль ориентирован на непосредственную работу с аналитическими данными, но может обращаться и к транзакционной части системы. Существует возможность его работы с архивными базами данных, совокупность которых представляет собой хранилище данных (Data Warehouse). Помимо непосредственного доступа к информации, хранящейся в рабочей базе данных, модуль может импортировать данные из филиалов, других подразделений и организаций. Это обусловливает возможность работы модуля независимо, т. е. без подключенной к нему транзакционной базы данных, а также обрабатывать информацию различной природы и из различных источников. В качестве анализируемых данных используются как внутренние финансовые данные банка и филиалов, так и внешние данные различного характера (результаты рейтингов и оценок, статистические показатели и т. д.).

На рисунке приведена схема взаимодействия различных компонентов системы анализа. При такой структуре и при наличии соответствующей методики, учитывающей специфику данного предприятия, система может проводить анализ деятельности любой корпоративной организации, не обязательно банка. Если информационных средств, имеющихся в распоряжении системы, оказывается недостаточно для проведения требуемого анализа, к ней (в силу ее открытости) можно подключить внешние источники. Данные просто переносятся в MS Excel и затем могут быть обработаны любым программным пакетом для статистической обработки данных или финансового анализа.

Понятие системы финансового анализа объединяет в себе физическую структуру, хранящую данные, логическую структуру организации доступа к ним, средства задания методик анализа и форм отчетов, а также ряд сервисных функций, таких как импорт-экспорт данных, интерфейс обмена с Excel, возможность доступа к архивным базам данных и др. Она реализует единый подход к хранению и обработке данных различной структуры и отличается простотой доступа к ним, высокой скоростью обработки информации и широким спектром типовых и специальных операций манипулирования данными. Для проведения всестороннего и детального анализа данные, которыми оперирует система, представляются в виде логической многомерной структуры, реализуемой в реляционной базе данных с помощью языка четвертого поколения Progress 4GL, на котором написана ИБС «БИСквит».

Основные принципы многомерной организации данных

Реляционный подход к проектированию баз данных не предназначен для использования в задачах, требующих синтеза, анализа и консолидации данных. Для этих целей больше подходит многомерный способ представления данных. Область, в которой он наиболее эффективен, — хранение и обработка высоко агрегированной и стабильной во времени информации.

Работа с многомерными структурами данных получил название OLAP (on-line analytical processing). Это понятие определяется следующими 12 требованиями к средствам реализации данного принципа, которые были сформулированы Э. Коддом (см. E.F. Codd, S.B. Codd, C.T. Salley «Providing OLAP to User-Analysts: An IT Mandate». — E.F. Codd&Associates, 1993):

  1. Многомерное представление данных на концептуальном уровне (средства должны поддерживать многомерный взгляд на данные).
  2. Прозрачность (пользователю не нужно знать, какие конкретно средства используются для хранения и обработки данных, как данные организованы и откуда они берутся).
  3. Доступность (средства должны сами выбирать и связываться с наилучшим для формирования ответа на данный запрос источником данных).
  4. Согласованная производительность (производительность практически не должна зависеть от количества измерений в запросе).
  5. Поддержка архитектуры клиент-сервер (средства должны работать в архитектуре клиент-сервер).
  6. Равноправность всех измерений (ни одно из измерений не должно быть базовым, все они являются равноправными, т. е. симметричными).
  7. Динамическая обработка разреженных матриц (неопределенные значения должны храниться и обрабатываться наиболее эффективным способом).
  8. Поддержка многопользовательского режима работы (средства должны обеспечивать возможность работы с данными более чем одному пользователю).
  9. Поддержка операций на основе различных измерений (все многомерные операции должны единообразно и согласованно применяться к любому числу любых измерений).
  10. Простота манипулирования данными (средства должны иметь максимально удобный, естественный и комфортный пользовательский интерфейс).
  11. Развитые средства представления данных (они должны поддерживать различные способы визуализации данных).
  12. Неограниченное число измерений и уровней агрегации данных (не должно быть ограничений на число поддерживаемых измерений).

Описываемая система удовлетворяет большинству этих требований, хотя имеются отклонения от канонической схемы, обусловленные спецификой предметной области и стремлением сделать программный продукт для решения задачи сбора  анализа финансовых данных.

Прежде чем мы перейдем к описанию логической структуры системы анализа, приведем основные определения многомерного представления данных (см. А. А. Сахаров, Принципы пректирования и использования многомерных баз данных (на примере Oracle Express Server), «СУБД» — 3/96). На логическом уровне структура данных представляет собой сложный гиперкуб, который характеризуется следующими понятиями:

Существуют две модели организации данных: поликубическая  и гиперкубическая. Поликубическая модель предполагает, что в многомерной базе данных может быть определено несколько гиперкубов с различной размерностью и различными измерениями в качестве их граней. В случае гиперкубической модели предполагается, что все показатели должны определяться одним и тем же набором измерений. В рассматриваемой модели объединены лучшие черты поликубической и гиперкубической моделей. Такую реализацию мы называем подходом вложенных гиперкубов, при котором жестко определен один внешний гиперкуб с иерархическими измерениями «Подразделение» и «Время» (фиксированными в силу предметной области). Причем в каждой его ячейке может существовать неограниченное количество гиперкубов с любыми иными измерениями, определяемыми самим пользователем в словаре данных. Так как поступающая для анализа информация имеет не только разную форму, но и различный экономический смысл, каждый внутренний гиперкуб характеризуется собственными измерениями, определяющими структуру хранимых данных, и имеет собственный набор показателей. Совокупность конкретных значений всех измерений однозначно определяет значения показателей данного гиперкуба.

Данный подход выводит нас за рамки классической модели OLAP-системы, в которой вследствие равноправия абсолютно всех измерений и показателей возникает проблема большого количества неопределенных значений. Нарушение этого условия дает значительные преимущества при хранении данных. Рассмотренная логическая схема позволяет избавиться от пустых (не содержащих данных) элементов, привязав какое-либо количество показателей к каждому внутреннему гиперкубу.

Такая схема является лишь частным случаем многомерной организации структуры данных, и не противоречит самому подходу к многомерным способам представления информации.

Физическая организация многомерной структуры данных

Несмотря на всю сложность рассмотренной логической структуры, ее физическая организация весьма проста и реализуется в рамках реляционной базы данных и ее запросов. Вся система анализа основана на двух таблицах базы данных, одна из которых хранит информацию об измерениях, а вторая — только значения показателей и ссылку на соответствующие значения измерений. Подобная структура хранения данных имеет следующие достоинства:

Логическая структура организации данных

Основу логической организации системы, предназначенной для анализа разнородной информации, составляют три типа иерархических объектов:

Поясним смысл этого последнего типа объектов. Самый нижний узел любой ветви в иерархии данных представляет собой класс данных и объединяет в себе ряд сходных по экономическому смыслу и способам обработки финансовых показателей. Причем каждому классу соответствует свой определенный набор показателей и измерений, определяющих их значения. Результаты любой операции по манипулированию данными могут иметь вид отдельного значения (например, нормативный показатель) или таблицы как единого целого. Характер представления данных определяется свойствами конкретного класса, которому они принадлежат. Формально структуру такого справочника нельзя считать древовидной, в этом виде она представляется лишь в пользовательском интерфейсе. На самом деле, одни показатели могут заключать в себе другие показатели и зависеть от их рассчитываемых значений. Нетрудно заметить, что изменение значения одного показателя в данной точке внешнего гиперкуба делает неверными все значения других показателей в той же точке, рассчитанные с его использованием. Подобные коллизии должны четко отслеживаться системой анализа и заноситься в легко просматриваемые журналы нарушений без запроса пользователя-аналитика, который из-за большого количества классов данных не способен вручную отследить все связи.

Справочник иерархической структуры типов данных содержит детальное описание и характеристики измерений и показателей для каждого класса данных. Они определяют характер операций, проводимых над этими данными.

Основные операции манипулирования данными

Рассмотрим основные операции манипулирования данными, доступные системе анализа:

Совокупность приведенных свойств системы анализа делает ее гибким и мощным инструментом, позволяющим решать широкий круг сложных аналитических задач, характерных для предприятия корпоративного уровня.

 


НОВОСТИ

20 сентября 201719 сентября 201718 сентября 201716 сентября 2017

Статьи, интервью, публикации