"Умная шина" Digital Q.Integration от "Диасофт": визуальное проектирование маршрутов и полный контроль над данными

"Диасофт" знает, как быстро и просто объединить различные информационные системы на предприятии в единую среду, не нарушив целостности каждой из систем и обеспечив бесшовную интеграцию между ними. При развитии экосистемы low-code разработки микросервисных продуктов Digital Q, в которую входит более 30 платформ, такая задача встала перед самой компанией. И для ее решения была разработана интеграционная платформа Digital Q.Integration, которая превращает интеграцию различных систем в простой и понятный процесс благодаря визуальному редактору и автоматическому преобразованию форматов, делая все обновления маршрутов мгновенными и без остановки сервиса. О работе этой платформы и пойдет речь в данной статье.

Микросервисная архитектура как фундамент гибкости

Digital Q.Integration реализована в микросервисной архитектуре на основе Apache Camel – одном из самых популярных в мире фреймворков для интеграции, что дает доступ более чем к 300 готовым коннекторам для работы с различными протоколами и системами.

Архитектура платформы устроена так, что каждый интеграционный маршрут работает как независимый микросервис. Это означает, что можно обновлять один маршрут, не останавливая остальные. Более того, платформа поддерживает динамическое обновление маршрутов прямо во время работы – функция, которая особенно ценна в средах разработки, где требуется постоянная отладка.

Каждый микросервис может запускаться в нескольких экземплярах, а встроенный балансировщик нагрузки автоматически распределяет запросы между ними. Когда нагрузка возрастает, достаточно запустить дополнительные инстансы нужных сервисов, не трогая остальную инфраструктуру.

Визуальный редактор вместо тысяч строк кода

В ESB-платформу Digital Q.Integration встроен полноценный дизайнер интеграционных маршрутов, где все элементы представлены в виде визуальных компонентов, соединяемых между собой на диаграмме. То, что раньше занимало у команды разработчиков 2-3 недели, теперь реализуется за день благодаря библиотеке готовых компонентов.

Платформа поддерживает условную маршрутизацию, обогащение данных из внешних источников, агрегацию сообщений и преобразование форматов – и все это настраивается визуально. В одном из тестовых проектов система автоматически распаковывала архивы RAR, 7-Zip и ZIP, извлекала данные из Excel-файлов внутри них, преобразовывала в нужный формат и отправляла в целевую систему. И весь процесс – три компонента на схеме.

Low-code для простых задач, код – для сложных

Для типовых интеграций достаточно визуального редактора и настройки параметров компонентов – не нужно писать ни строчки кода. Но когда требуется реализовать нестандартную логику, платформа не ограничивает разработчика. Можно написать собственный Java-класс, который будет выполнять нужные преобразования, и подключить его через специальный компонент Bean. Можно использовать скриптовые языки для встраивания небольших фрагментов кода прямо в маршрут.

Более того, разработчики могут создавать собственные компоненты, которые потом будут доступны в визуальном редакторе наравне со стандартными. "Диасофт" предоставляет подробную документацию и примеры кода для создания таких расширений. Это позволяет компаниям создавать библиотеки собственных компонентов для специфичных задач их отрасли.

BPMN 2.0: бизнес-процессы как часть интеграции

"Диасофт" встроил в платформу Digital Q.Integration полноценный редактор BPMN 2.0, который позволяет описывать не только технические интеграции, но и сквозные бизнес-процессы.

Бизнес-аналитики и разработчик работают в единой среде: бизнес-аналитик рисует процесс в BPMN-редакторе, отмечает точки интеграции с внешними системами, а разработчик уже настраивает конкретные маршруты передачи данных. Результат – полная прозрачность процесса от начала до конца и возможность мониторинга в реальном времени.

Безопасность на всех уровнях

Вопросы информационной безопасности стоят особенно остро, когда речь идет об интеграции критичных корпоративных систем. Платформа "Диасофт" поддерживает полный спектр современных протоколов защиты данных.

Все подключения могут работать по HTTPS с поддержкой TLS 1.2 и 1.3. Причем настройка сертификатов максимально упрощена – они просто включаются в состав сервиса как артефакты. Для работы с защищенными каналами реализована поддержка различных опций: редиректы, валидация сертификатов, работа с корпоративными хранилищами доверенных сертификатов.

Аудит событий ведется автоматически. Каждое действие в системе фиксируется с указанием пользователя, времени, типа операции и результата. Можно отследить, кто и когда создал интеграционный маршрут, кто его изменял, какие данные проходили через систему. Журналы можно фильтровать по различным критериям, что упрощает расследование инцидентов и обеспечивает соответствие требованиям регуляторов.

Для подключения к удаленным серверам реализован SSH-клиент с поддержкой всех современных стандартов безопасности. Можно указать список доверенных хостов, настроить проверку сертификатов, использовать различные методы аутентификации.

Работа с любыми форматами и протоколами

Форматы данных. Одна из сильных сторон Digital Q.Integration – универсальность в работе с данными. Платформа умеет обрабатывать практически любые форматы, которые поддерживают корпоративные системы – XML, JSON, CSV, PDF, ODF (формат OpenDocument), форматы Microsoft Office (например, Excel файлы (.xlsx, .xls) обрабатываются с сохранением структуры листов и ячеек).

Также Digital Q.Integration умеет распаковывать ZIP, RAR и 7-Zip архивы, в том числе защищенные паролем. Это особенно полезно для систем документооборота, где документы часто передаются в архивах для экономии трафика.

Для работы с PDF реализован механизм извлечения текста. Решение может получить PDF-файл, извлечь из него содержимое и передать дальше для обработки. Это дает возможность автоматизировать работу с договорами, актами и другими документами.

Протоколы. Кроме базовых протоколов HTTP и HTTPS для REST AP, платформа поддерживает:

• FTP и FTPS для работы с файловыми серверами. В одном из реальных сценариев система автоматически забирала файлы с удаленного FTP-сервера, обрабатывала их и отправляла результат в другую систему по расписанию.
• Email-протоколы IMAP и IMAPS для получения сообщений из почтовых ящиков. Это может пригодиться при получении важных данных по электронной почте – например, отчеты от контрагентов или уведомления от государственных систем.
• gRPC – современный высокопроизводительный протокол от Google, который все чаще используется в микросервисных архитектурах. Платформа поддерживает как вызов внешних gRPC-сервисов, так и предоставление собственных.
• SSH для выполнения команд на удаленных серверах. Это открывает возможности для автоматизации администрирования и интеграции с legacy-системами, которые не имеют API, но предоставляют командный интерфейс.

Маршрутизация и преобразование: когда данные перемещаются сами

Контентная маршрутизация позволяет направлять сообщения в разные системы в зависимости от их содержимого. Например, заявки на кредит до определенной суммы идут в систему автоматического одобрения, а крупные – на проверку риск-менеджером вручную. Настраивается это через визуальный компонент Choice с условиями на простом языке выражений.

Решение имеет специальный компонент Enrich, который позволяет легко реализовать даже сложную логику объединения данных. Решение может получить базовое сообщение от одной системы, обратиться к другой системе за дополнительной информацией и объединить все в одно сообщение.

При необходимости решение агрегирует данные – собирает их из нескольких источников в одно сообщение. Это полезно, когда нужно сформировать отчет, объединяющий информацию из разных систем.

Digital Q.Integration может преобразовывать форматы – конвертирует JSON в XML, XML в CSV и наоборот. Для сложных преобразований, которые нельзя сделать стандартными средствами, можно писать код на Java или использовать скриптовые выражения прямо в компонентах.

Мониторинг и отладка: полный контроль над процессами

Кроме создания интеграции, необходимо обеспечить ее стабильную работу в продакшене. Для этого в Digital Q.Integration встроены средства мониторинга и диагностики.

Реестр интеграционных маршрутов показывает все активные интеграции с возможностью группировки и фильтрации. Можно быстро найти нужный маршрут, посмотреть его статус, когда он был создан и кем, когда последний раз изменялся.

Для каждого маршрута ведется детальное логирование. Можно увидеть, какие сообщения проходили через маршрут, как они преобразовывались на каждом этапе, где возникали ошибки. Логи можно фильтровать по времени, типу событий, конкретным пользователям.

Особенно полезна возможность просмотра истории выполнения бизнес-процессов. Система сохраняет информацию о каждом запуске процесса: какие шаги были пройдены, сколько времени заняла каждая операция, какие параметры передавались между шагами. Если где-то произошла ошибка, можно детально разобраться, что именно пошло не так.

Отказоустойчивость и масштабируемость

Digital Q.Integration спроектирована таким образом, чтобы исключить простои корпоративной системы. Каждый компонент Digital Q.Integration может работать в кластере с автоматической балансировкой нагрузки и переключением на резервные узлы при сбоях.

Для обмена сообщениями между микросервисами используются промышленные брокеры – Apache Kafka для высоконагруженных потоковых данных и RabbitMQ для надежной доставки транзакционных сообщений. Оба брокера поддерживают кластеризацию и гарантированную доставку.

Масштабирование может быть как вертикальным (увеличение мощности серверов), так и горизонтальным (добавление новых серверов в кластер). Причем добавлять новые узлы можно без остановки работающих сервисов – платформа автоматически обнаружит их и начнет распределять нагрузку.

Развертывание: от локального сервера до Kubernetes

Платформа поддерживает различные варианты развертывания в зависимости от потребностей компании. Digital Q.Integration можно установить на локальных серверах – как физических, так и виртуальных. Поддерживаются популярные операционные системы Linux.

Для компаний, строящих облачную инфраструктуру, доступно развертывание в контейнерах Docker с оркестрацией через Kubernetes. Это дает максимальную гибкость в управлении ресурсами и упрощает CI/CD-процессы.

Платформа может работать как в виде централизованного решения, когда все интеграции проходят через единый центр, так и в распределенном режиме, когда несколько инстансов развернуты в разных локациях и синхронизируются между собой.

Для кого предназначена Digital Q.Integration

Платформа Digital Q.Integration ориентирована прежде всего на использование в средних и крупных компаниях, которые имеют сложный IT-ландшафт с десятками различных систем. Это промышленные и производственные предприятия, банки, страховые компании, ритейл, телеком – везде, где нужно объединить ERP, CRM, системы документооборота, аналитику и другие приложения в единую экосистему.

Digital Q.Integration особенно актуальнадля компаний, которые активно развивают цифровые сервисы и запускают новые продукты. Скорость вывода новых интеграций на рынок здесь становится конкурентным преимуществом. Если раньше на разработку и тестирование решений требовались месяцы, теперь можно уложиться в недели или даже дни.

Важно отметить, что Digital Q.Integration – полностью российская платформа, которая имеет все необходимые сертификаты. В зависимости от текущей инфраструктуры, "умная шина" компании "Диасофт" способна стать альтернативой Oracle SOA Suite для крупных корпораций, IBM Integration Bus – для банков, Red Hat JBoss Fuse – для телекоммуникационных компаний, WSO2 –для среднего бизнеса и SAP PI/PO – для компаний, мигрирующих с SAP-решений. При этом функциональность остается сопоставимой или даже превосходит западные аналоги за счет визуального редактора и low-code инструментов, что значительно сокращает время внедрения.

Интеграция как конструктор

Визуальное проектирование, библиотеки готовых компонентов, микросервисная архитектура Digital Q.Integration – все это делает процесс создания интеграций похожим на сборку конструктора.

Возможность быстро интегрировать новые системы, легко адаптировать процессы к меняющимся требованиям бизнеса и при этом не зависеть от иностранных технологий – это то, что определяет конкурентоспособность в современных условиях.