BI-дашборд с аномалиями
Описание проекта
Реализован BI-дашборд на базе Apache Superset для контроля финансовых метрик компании: выручки, маржи, AUM, оттока клиентов, план-факта и прогнозных отклонений. Решение объединило данные из ERP, CRM, биллинга и рыночных источников в единую аналитическую витрину, чтобы CFO, руководство и продуктовая команда работали с одной версией данных.
Поверх BI-слоя был добавлен ML-контур: детектор аномалий, прогноз оттока и алертинг в Telegram / Slack. Система помогает увидеть просадку, выброс или риск по клиентскому сегменту в день появления проблемы, а не после ручной подготовки месячного отчёта.
Моя роль — архитектор данных и ML-слоя. Я проектировал DWH-модель, определял структуру витрин, выбирал подход к выявлению аномалий, настраивал интеграции, формировал требования к дашбордам и координировал работу BI-аналитиков и разработчиков.
Бизнес-задача
Было:
- Финансовые метрики собирались из разных систем и Excel-файлов
- Команды по-разному считали выручку, маржу и AUM
- Аномалии искали вручную, уже после появления проблемы
- Отчёт о падении выручки или оттоке клиентов приходил слишком поздно
Задача: Создать единый аналитический контур, где финансовые данные собираются автоматически, метрики считаются по единым правилам, а система сама выявляет аномалии и предупреждает ответственных до выхода регулярного отчёта.
Архитектура решения
Данные собираются в DWH, нормализуются и передаются в BI-слой. Поверх витрин работает ML-модуль, который анализирует исторические паттерны и отправляет алерты при отклонениях.
- Источники данных: ERP, CRM, биллинг, рыночные источники
- Хранилище: PostgreSQL
- Трансформация данных: dbt
- BI-слой: Apache Superset
- ML-модели: Isolation Forest, Prophet
- Алертинг: Telegram
- Визуализация: финансовые дашборды, drill-down, план / факт / прогноз
- Контроль качества данных: единые правила расчёта метрик и витрин