Корпоративная отчетность: стоит ли переходить от коробочных решений к разработке собственных BI-систем?

Приостановка деятельности в России ведущих зарубежных платформ для бизнес-аналитики, среди которых Tableau, Power BI и Qlik, поставила компании перед необходимостью поиска альтернативных решений. Выбор, интегрировать коробочные решения других производителей или развивать собственные системы на основе библиотек Open Source, похоже, все чаще делается в пользу последних. Денис Жуков, старший инженер данных Luxoft, специалист по внедрению DWH/ETL/BI-решений для финансового сектора, рассказал, почему многие компании сегодня предпочитают собственную разработку коробочным BI-системам и какие преимущества и недостатки имеет тот или иной подход.

Самописные BI-системы: новый тренд в корпоративной отчетности?

Занимаясь внедрением корпоративных решений бизнес-аналитики в компаниях финансового сектора более 15 лет, я был убежден, что готовый софт - это лучший вариант для предприятия. Коробочное решение с готовым набором бизнес-аналитических инструментов легко внедрить в структуру любой организации, а возникающие вопросы по техподдержке решаются с помощью вендора. Однако глобальная тенденция последних лет заставила пересмотреть свои убеждения.

Интерес к созданию самописных решений либо инструментов анализа и визуализации данных сегодня набирает обороты: этот тренд отметило агентство Gartner в недавнем докладе "12 тенденций в области аналитики данных", который лег в основу "Магического квадранта Гартнера - 2023".

Квадрант Гартнера - это графическое отображение ситуации на рынке бизнес-аналитики, позволяющее оценить долю рынка, возможности и перспективы ключевых решений и их производителей.

По словам вице-президента Gartner, Марка Бертнера, в этом году при оценке программ для аналитики данных пользователи впервые уделяли больше внимания возможностям кастомизации аналитических отчетов, а не удобству интерфейса.

Почему компании предпочитают собственную разработку

Лидеры рынка BI меняются сейчас настолько быстро, что, приобретая коробочное решение у лучшего вендора в 2023, вы не можете быть уверены, что через пару лет оно все еще будет самым передовым. Если взглянуть, как менялся квадрант Гартнера с 2017 года по сегодняшний день, увидим, что компании, которые были лидерами рынка еще пять-шесть лет назад - IBM Cognos BI, Oracle BI, SAP BO, SAS и др., сегодня утратили лидирующие позиции.

Еще один фактор, благодаря которому самописные BI-решения получают толчок к развитию, это удобство и простота современных библиотек языков программирования. Сегодня они идут, как гаджеты, "в комплекте с батарейками". "Батарейки" в данном случае - это современные инструменты Open Source, такие как Python: Pandas, Matplotlib, Plotly; JavaScript: D3.js, Chart.js, amCharts, AnyChart, DevExtreme; Java: JasperReports, JFreeChart. Современные библиотеки сочетаются со многими веб-фреймворками, в частности Flask и React/Vue, что делает их использование гораздо проще для разработчиков.

В России средняя стоимость кадров, занимающихся разработкой решений Open Source, сегодня снижается в связи с ростом популярности программирования, доступностью большого числа курсов по программированию и образовательного материала в интернете, а также возможностью работать удаленно. В 2022 году темп роста вакансий разработчиков сократился с 58% до 9%, при этом количество резюме на вакансию выросло до 2,5 соискателей на место. Доступность квалифицированных кадров также упрощает компаниям процесс внутренней разработки.

Коробочные решения vs самописные программы: плюсы и минусы

Коробочные BI-решения, как и самописные программы на базе библиотек Open Source, обладают своими преимуществами и ограничениями. Рассмотрим основные из них:

Преимущества готовых BI-решений:

• Удобное решение стандартных задач: такие программы, как Tableau, Power BI или QlikView, предоставляют оптимальный набор инструментов, необходимый для решения большинства задач, стоящих перед отделом аналитики: создание отчетов, дашбордов, аналитических моделей, и т.д.
• Пользовательский интерфейс: готовые BI-решения обладают простым и удобным пользовательским интерфейсом, что упрощает создание отчетов и дашбордов без необходимости программирования.
• Готовые интеграции: Коммерческие BI-решения обычно содержат готовые драйвера/коннекторы к различным системам и базам данных и также ETL-инструменты для интеграции и подготовки данных.
• Поддержка и обновления: Возможность обратиться в техподдержку и устанавливать регулярные обновления помогает оперативно решать проблемы, получать новые функции и очищенный от ошибок функционал.

Минусы готовых BI-решений:

• Высокая стоимость для небольших компаний: Коммерческие BI-решения часто связаны с покупкой лицензий или подпиской, что может быть затратным для небольших организаций или проектов.
• Ограниченный функционал: Готовые BI-решения могут быть менее гибкими по сравнению с библиотеками Open Source. Запросы, которые вы можете построить в коробочной системе, по своей сути ограничены возможностями, предоставляемыми интерфейсом.
• Зависимость от поставщика: Использование коммерческого BI-решения может означать зависимость от одного поставщика и ограниченные возможности миграции данных в случае смены решения.

Преимущества самописных решений на базе библиотек Open Source:

• Гибкость в настройке функционала: разрабатывая собственное решение на основе открытого кода, вы приобретаете возможность создать кастомизированную систему аналитики под свои бизнес-процессы. Это особенно важно, если у компании есть какие-то бизнес-процессы и запросы в аналитике и визуализации данных, которые не подлежат стандартизации при помощи пакетных решений.
• Низкие затраты на внедрение: использование библиотек Open Source часто не требует лицензирования, что позволяет снизить затраты на внедрение и развертывание. Этот сценарий будет особенно актуален, если внутри компании уже разрабатывались собственные ИТ-продукты: интранет, веб-портал, интернет-магазин и т.д. Эту экспертизу возможно применить и к созданию собственного BI-решения.
• Снижение зависимости от вендора: благодаря собственной разработке вы снижаете стоимость лицензий и поддержки. Вы также минимизируете зависимость компании от внешнего поставщика и риски, связанные с передачей и хранением информации за пределами компании.
• Активное сообщество: многие open-source-проекты имеют активное сообщество разработчиков, которые предлагают поддержку, лучшие практики и дополнительные ресурсы для разработки и поддержки.
• Предсказуемое развитие продукта: говоря о перспективах российского рынка, отдельно стоит упомянуть риск-менеджмент. Современные российские BI-решения, пришедшие на смену международным вендорам, это, как правило, новые разработки, которые пока никак не проявили себя ни на международном, ни на российском рынке. Поэтому нет никаких гарантий, что эти инструменты будут развиваться желаемыми темпами.

Минусы самописных решений на базе библиотек Open Source:

• Техническая сложность внедрения: для организации собственной BI-платформы компании придется нанимать опытных разработчиков и бизнес-аналитиков, если таковых нет в штате. А после организовывать между участниками процесса полноценный DevOps и последующую поддержку решений. По сути, это формирование полноценной full-stack-команды. В результате время выхода готового продукта (time to market) получается гораздо больше, чем при приобретении коробочных BI-решений.
• Ограниченная поддержка: в отличие от коммерческих решений, поддержка библиотек Open Source может быть ограничена внутренними ресурсами компании или активностью сообщества разработчиков.
• Сложности с интеграцией баз данных: библиотеки Open Source могут требовать дополнительной работы для интеграции с различными источниками данных и системами.

На чем остановить выбор?

Итак, главными преимуществами внедрения собственных BI-систем являются снижение стоимости поддержки, снижение зависимости от внешнего вендора, повышение безопасности и конфиденциальности хранения данных и, главное, возможность создать кастомизированную систему бизнес-аналитики и визуализации данных под процессы компании. К минусам относятся рост расходов на персонал и увеличение времени для получения готового решения. Несмотря на недостатки, отмечу, что базовых преимуществ достаточно для того, чтобы российские компании всерьез задумались о создании собственного ПО для поддержания устойчивой аналитики и безопасного хранения информации. Впрочем, этот выбор всегда остается за клиентом.