Инструменты бизнес-аналитики (BI) необходимы для сбора, анализа и интерпретации данных в рамках бизнес-процессов. Они помогают организациям принимать информированные решения, оптимизировать эффективность, мониторить показатели и прогнозировать будущие тренды. Самостоятельное создание инструментов для выполнения аналитических задач может потребовать большого количества времени, усилий и привлечения отдельного штата технических специалистов. BI-системы помогают автоматизировать процесс, сделав бизнес-аналитику удобной и гибкой. Эти технологии позволяют как людям, принимающим решения в компании, так и бизнес-аналитикам строить графические отчеты, используя данные, которые по своей структуре изначально не предназначены для аналитики.
Как работают BI-системы
- Все BI-инструменты используют следующий алгоритм работы:
- Данные любых типов — как структурированные, так и неструктурированные — извлекаются из различных источников (транзакционные СУБД, веб-сервисы, брокеры сообщений, текстовые документы и т. д.).
- Извлеченные данные преобразуются в удобный для аналитики вид.
- Преобразованные данные загружаются в специализированное аналитическое хранилище.
- Данные из аналитического хранилища визуализируются в виде отчетов и графиков.
BILLmanager уже имеет встроенный механизм формирования отчетов и графиков. Из коробки пользователь получает несколько заранее заданных отчетов. Кроме того, он может создавать свои собственные отчеты. Но этот механизм далек от принципов, на которых построены современные BI-системы:
- возможности по кастомизации достаточно скудны;
- данные извлекаются напрямую из БД BILLmanager;
- структуры таблиц сложны;
- добавление графиков, для построения которых одного SQL-запроса недостаточно;
- тонкая настройка требует привлечения разработчиков для написания кода на C++.
Реализация BI-системы в BILLmanager
Мы решили предоставить нашим клиентам более гибкий и современный инструмент, который будет отвечать всем требованиям и принципам современных BI-систем. Он тесно интегрирован с BILLmanager, что позволят сразу воспользоваться всеми преимуществами, которые дает BI-система, для решения бизнес-задач.
В результате изучения и апробаций различных решений (в том числе зарубежных) мы пришли к необходимости разработки собственного инструментария, который бы удовлетворял как нашим требованиям, так и требованиям наших клиентов — текущим и будущим пользователям BILLmanager.
Мы выделили следующие компоненты, которые необходимы для создания собственной BI-системы.
ETL (Extract, Transform, Load — извлечение, преобразование, загрузка)
Перед тем как визуализировать данные, необходимо привести их к соответствующему виду: выгрузить из разных источников, объединить таблицы, выполнить нормализацию, произвести дополнительные преобразования и перенести результат в специализированное аналитическое хранилище данных. Это задача компонента ETL — его мы разработали самостоятельно.
Изначально ETL уже преднастроен на выгрузку определенных наборов данных из BILLmanager, таких как сведения о клиентах, их расходы и потребляемые услуги. Благодаря тому, что все настройки описываются в конфигурационных файлах, пользователю не должно составить труда подключить новые источники данных или указать свои правила преобразования данных. При этом знания языков программирования не требуется.
Также есть возможность использовать отличные от BILLmanager источники: базы данных, веб-сервисы, электронные таблицы. Для получаемых данных могут указываться различные правила преобразования. К таким правилам относятся, например, преобразования в другие типы данных, форматирование строк, очистка от ненужных данных или построение недостающих.
Для периодической выгрузки указывается расписание: когда и как часто необходимо синхронизировать данные из источников.
Аналитическое хранилище данных
Традиционные транзакционные СУБД плохо подходят для аналитических запросов, в основном по причине малой скорости их обработки. Для аналитических хранилищ данных в качестве замены традиционных СУБД часто используют так называемые колоночные СУБД. Их отличает слабая поддержка транзакций или вовсе их отсутствие, а также особая структура хранения и обработки данных, за счет чего такие СУБД отлично справляются с аналитическими запросами.
Одна из широко известных и активно поддерживаемых колоночных СУБД — Clickhouse. Ее отличительная особенность — гибкая масштабируемость. Эту СУБД можно использовать как на виртуальных серверах с относительно небольшим количеством оперативной памяти, так и в большом кластере. Если объем хранимых данных маленький, чаще всего можно ограничиться относительно небольшим количеством вычислительных ресурсов.
Визуализация данных
Полученные после обработки данные нужно визуализировать: строить и просматривать отчеты и графики, объединять их в дашборды. Для этого мы используем Apache Superset, который является одним из наиболее гибких и настраиваемых инструментов. Это свободно распространяемое решение, которое используют многие компании и организации во всем мире. Открытый исходный код позволяет при необходимости вносить в него изменения и дорабатывать под свои задачи.
Почему BI-система в BILLmanager — это удобно и эффективно
Для успешной BI-системы необходимо, чтобы все ее компоненты были успешно интегрированы друг с другом и пользователям не приходилось заниматься трудозатратным развертыванием и предварительной настройкой.
Проектируя BI-инструменты в BILLmanager, мы стремились удовлетворить следующие требованиям к удобству установки, настройки и эксплуатации:
- BI-система устанавливается из графического интерфейса панели BILLmanager. Есть возможность установки на тот же сервер, где уже установлен BILLmanager (вариант для апробаций), или на отдельный сервер (рекомендуемый production-вариант). Никаких дополнительных действий перед установкой со стороны администратора панели и сервера не требуется.
- BI-система интегрирована с BILLmanager. Мы изначально предоставляем набор отчетов и графиков, которые строятся по данным из BILLmanager. Есть интеграция сотрудников BILLmanager и пользователей BI, что позволяет при необходимости разграничить доступ к тем или иным данным.
- Пользователи BI-системы могут добавлять новые наборы данных из различных источников, строить собственные графики и отчеты без необходимости погружения в технические детали для максимальной концентрации на бизнес-задачах.
- Предоставление пользователям в будущем расширенных возможностей бизнес-аналитики (advanced analytics), гибкого прогнозирования и получение рекомендаций на основе сформированных прогнозов.
Реализация собственной BI-системы в BILLmanager позволила сделать бизнес-аналитику удобной и простой. Встроенные инструменты и готовые наборы дашбордов, графиков и отчетов позволяют работать с системой как профильным специалистам и менеджменту, так и рядовым пользователям. Интеграция с внешними источниками данных позволяет дополнять аналитику любыми сведениями извне.
Встроенные BI-инструменты для построения аналитических отчетов есть в любой версии BILLmanager, даже на самом доступном тарифе.
Запросите демонстрацию, чтобы ознакомиться с BI-системой, встроенной в платформу BILLmanager.
