Критерии выбора средств интеграции

2008-11-26

Актуальность использования инструментов интеграции сегодня уже не вызывает сомнений, о чем свидетельствует неизменный рост рынка и отраслевые исследования («Текущая ситуация на рынке инструментов интеграции. Мнение компании Gartner»). Однако в условиях финансового кризиса очень важно следовать грамотным принципам оценки таких продуктов, сокращая тем самым издержки на всех этапах внедрения и использования программного обеспечения.

К сожалению, сегодня на рынке редко встречаются продукты, выполняющие все бизнес-требования клиентов. Однако при выборе средств DI (data integration) необходимо обратить внимание на ряд важнейших факторов, способствующих эффективному использованию программных средств и снижающих стоимость владения (TCO — total cost of ownership).

Рассмотрим критерии подбора продуктов, предложенные экспертом консалтинговой компании Tyson Consulting, Дэвидом Уодингтоном (David Waddington).

Абстракция и семантическая рационализация

Несмотря на широту использования средств интеграции данных, часто возникают ситуации, когда они не обеспечивают правил для преобразования и перемещения данных. Большая часть этой работы даже сегодня выполняется вручную. Современные инструменты должны обеспечивать встроенную возможность автоматического распознавания и идентификации общих элементов данных.

Кроме того, такие системы должны предупреждать бизнес-экспертов об исключениях, или о тех областях, где невозможно провести автоматическую рационализацию. Новые инструменты должны поддерживать пользователей и устранять по максимуму работу, выполняемую вручную. Это косвенно поспособствует поддержке стандартов и повышению эффективности.

Понятие абстракции заключается в отделение фактического значения объекта от его физической реализации. При использовании нормативно-справочных данных может использоваться согласованное определение для каждого элемента данных, и оно остается постоянным, вне зависимости от изменений в исходных системах. Такая абстракция упрощает участие бизнес-аналитика в этапе проектирования, тем самым гарантируя большую прозрачность. А это, в свою очередь, сокращает время проектирования и разработки, особенно по части конструирования и тестирования бизнес-правил и преобразований, и, таким образом, сокращает общую стоимость владения программным средством.

Еще одним преимуществом инструментов интеграции данных, включающих абстракцию и семантическую рационализацию, является упрощенный процесс повторного использования правил и преобразований. Это также способствует сокращению TCO.

Масштабируемость и скорость

С учетом высоких расходов на существующие сегодня DI-инструменты, сложно оценить системные ресурсы. Тем не менее, масштабируемость является важным фактором. К сожалению, во многих случаях наблюдается тенденция к использованию максимально возможной вычислительной мощности. Часто средства интеграции работают на специализированном аппаратном обеспечении, так как они разработаны с ориентацией на максимальное использование всех системных ресурсов. Это и дорого, и нерационально. Гораздо прогрессивнее использовать для интеграции данных преимущества набирающих популярность распределенных вычислений.

Новые DI-инструменты призваны обеспечивать единый механизм обработки, как для пакетных, так и для непрерывных операций. Сокращение инвестиций на специальное аппаратное обеспечение и использование распределенных ресурсов сократит TCO.

Часто бывает так, что в BI-проекте процесс ETL занимает больше времени, чем выделено на предоставление отчетности. Это совершенно недопустимо. Современные средства интеграции призваны работать быстро и обеспечивать актуальную информацию.

Обеспечение работы с растущими объемами данных

Сегодня компании все шире ведут бизнес через интернет, а, следовательно, используют новые источники, типы данных и классификации. Кроме того, бизнес уже не носит характер взаимно-однозначных операций (one-to-one), но многозначен (one-to-many), а значит объем информации бурно растет. Если добавить к этому усиленные нормативные требования и стандарты, то для обеспечения контроля и мониторинга данных потребуются куда более сложные средства, нежели ранее.

Все эти факторы говорят о том, что в DI-инструменты необходимо внедрять инновации. Одна из наиболее востребованных сфер для интеграции — проекты миграции. Новые инструмент призваны упростить проектирование и разработку, сократить время внедрения и расходы.

Новые ценовые модели

Многие поставщики предлагают свои продукты, исходя из тех вычислительных мощностей, которые необходимы для их функционирования.

Однако эта ценовая модель малопонятна пользователям и устаревает, в связи с тенденцией к использованию распределенных вычислительных ресурсов. Необходима ценовая политика, базирующаяся на производительности (пропускной способности), а не на тех процессорных ресурсах, что имеются у клиента.

Очевидно, что если пользователь загружает в Хранилище лишь небольшую порцию данных раз в месяц, то и платить он должен существенно меньше, чем в случае передачи и преобразования данных в реальном времени. Такая модель удобнее для небольших первоначальных проектов. Она, несомненно, способствует снижению стоимости владения инструментом интеграции.

Безопасность и оффшорные разрабоки

Сегодня оффшорные разработки приобрели широчайшее распространение. И технология интеграции данных — не исключение. Однако в такой ситуации разработчикам со стороны приходится обеспечивать доступ к конфиденциальным данным, либо расходовать существенные ресурсы на создание безопасной тестовой выборки. Многие DI-инструменты разработаны таким образом, что могут оперировать только с реальными данными. Более современные средства, построенные на базе абстракции и семантической рационализации, помогут решить данную проблему. Большую долю тестирования можно будет делать на абстрактном уровне, без необходимости обрабатывать крупные пакеты конфиденциальных данных.

Управление полным жизненным циклом (ЖЦ)

Процесс управления проектом на всех этапах, от исходных идей и до полноценного функционирования и поддержки, не всегда хорошо налажен. Однако именно он гарантирует грамотный доступ и использование проектов интеграции. Увы, очень часто группа людей собирается на реализацию проекта, а потом уходит, а вместе с ней и весь накопленный опыт и знания. Затем возникает потребность в изменениях, появляется новая рабочая группа, вынужденная начинать все с начала.

Управление полным жизненным циклом требует от инструментов интеграции поддержки активного репозитория метаданных, содержащего всю информацию о проекте. Не менее важно распределять работу между специалистами, исходя из их опыта и квалификации, а также стоимости ресурсов.

Современные инструменты интеграции охватывают этапы проектирования, разработки, оптимизации и внедрения, максимально автоматизируя все процессы. Не менее важно отслеживать задачи и обязанности всех участников, степень завершенности работ, а также задержки в процессе внедрения. Единый репозиторий метаданных способствует решению этой проблемы, начиная с фазы проектирования, и закачивая коллективным взаимодействием и повторным использованием. Методы абстракции здесь очень важны. Если некоторая операция, преобразование или бизнес-правило сформулировано и параметризовано на абстрактном уровне, то его можно применять в различных обстоятельствах.

Сокращение стоимости владения

Каким образом, описанные выше требования, обеспечат сокращение TCO? В целом, стоимость владения можно классифицировать по четырем областям:

сокращение затрат на программные средства (за счет отказа от устаревших моделей ценообразования, приобретения именно таких DI-средств, которые решают текущие проблемы и могут расширяться по мере необходимости);
сокращение затрат на аппаратное обеспечение. За счет перехода на модель, в которой максимально используются существующую распределенные вычислительные мощности. Применение реструктурированных механизмов позволит решить задачи как пакетной, так и непрерывной обработки, с меньшими затратами;
cокращение затрат на разработку. Использование таких концепций как абстракция и семантическая рационализация для объеденения бизнес-аналитиков и DI-разработчиков в единой цели — сокращения времени внедрения. Обеспечение возможностей повторного использования разработок.
cокращение затрат на весь жизненный цикл управления. Использование инструментов, выполняющих мониторинг, обеспечивающих управление всем ЖЦ от первоначального проектирования и до функционирования, на основе репозитория метаданных. Гарантированная прозрачность и взаимосвязь бизнес-аналитиков и разработчиков, ускоряющая процесс и сокращающая количество ошибок.

Если обеспечить все вышеперечисленные факторы, то DI станет прекрасной базой для построения будущих прикладных архитектур.