Холдинг «ТАГРАС» — крупный нефтесервисный холдинг, активно реализующий программу цифрового суверенитета. После массового перехода на отечественное программное обеспечение компания столкнулась с рекордным падением производительности информационных систем, что критично замедлило бизнес-процессы. Рассказываем, как в «Про-Ресурс», компании входящей в состав дивизиона «БС-Платформа», разработали собственный инструмент «Про-Контроль», чтобы взять производительность под полный контроль.
.jpg)
Проблема
Раньше процесс мониторинга производительности в Холдинге «ТАГРАС» был реактивным. Проблемы вскрывались только после жалоб пользователей, что приводило к длительным простоям и затяжным расследованиям. Среди ключевых болевых точек:- Отсутствие единого центра компетенций: Не было инструмента, который позволял бы комплексно собирать, хранить и анализировать метрики производительности 1С и серверной инфраструктуры.
- Высокий отток финансов: Большинство проблем с производительностью (блокировки, «тормоза», падение серверов) решали сторонние компании. Это не только стоило денег, но и приводило к потере внутренней базы знаний.
- Разрушительные инциденты: Система работала нестабильно. Серверы постоянно зависали, операции выполнялись часами, а базы данных блокировались часто, что нормальная работа становилась невозможной. Сотрудники ждали, пока система «оживет», что приводило к остановке ключевых бизнес-процессов и многочасовым простоям.
Решение
Чтобы кардинально решить проблему, команда «Про-Ресурс» разработала и запустила инструмент «Про-Контроль». Вместо разрозненных действий по устранению последствий мы построили комплексную систему непрерывного мониторинга, которая автоматически фиксирует все отклонения и помогает выявлять их первопричины. Основные шаги реализации:- Сбор данных: Настроили автоматический сбор и парсинг журналов регистрации, технологического журнала 1С (включая метрики производительности Apdex), а также метрик операционной системы и СУБД.
- Централизованное хранение: Все данные теперь стекаются в высокопроизводительную аналитическую СУБД ClickHouse, где хранятся с автоматической ротацией (TTL).
- Визуализация и алертинг: Специалисты получили гибкие дашборды в Grafana с возможностью динамической фильтрации по базам, пользователям и хостам. При превышении критических порогов система автоматически отправляет оповещения через корпоративный мессенджер «ТаграС-Коннект» с указанием конкретного сервера, базы и текста ошибки.
- Разработка регламентов: Построили чёткую схему взаимодействия между отделами системного администрирования, сопровождения и смежными подразделениями, закрепив её во внутреннем регламенте.
Технологии
В основе решения «Про-Контроль» лежит современный Open Source-стек, подобранный под высокие нагрузки российского корпоративного сектора:- ClickHouse — столбцовая СУБД для сверхбыстрого хранения и аналитики огромных массивов логов и метрик.
- Vector (Datadog) — высокопроизводительный сборщик и маршрутизатор данных (написан на Rust), отвечающий за сбор и предобработку данных из 1С, PostgreSQL и ОС.
- Prometheus — система для мониторинга и сбора метрик в реальном времени.
- Grafana — платформа для визуализации данных, построения дашбордов и гибкой настройки оповещений (Alerting).
- Flask (Python) — сервис-интегратор, который принимает алерты от Grafana, обрабатывает их, производит дедупликацию, чтобы не «спамить» в чат и отправляет готовые сообщения в «ТаграС-Коннект».
Этапы внедрения
Ключевые этапы проекта:- Февраль – Март 2025 г.: Инициация проекта, подготовка планов, утверждение команды.
- Февраль 2025 г.: Создание комплексного инструмента «Про-Контроль», написание ядра для сбора метрик.
- Март – Май 2025 г.: Проведение пилотной эксплуатации на 3 дивизионах Холдинга «ТАГРАС». Охвачено 8 наиболее нагруженных информационных баз. За этот период обработано более 100 заявок от системы, из них 35 потребовали детального анализа и изменения конфигураций 1С.
- Май – Октябрь 2025 г.: Формирование эксплуатационной документации, создание шаблонов договора и финансовой модели сервиса.
- Август – Декабрь 2025 г.: Утверждение схемы взаимодействия смежных служб, презентация сервиса и официальное завершение проекта 29.12.2025.
Результаты
Результаты внедрения «Про-Контроля» закрыли исходные «боли» и превзошли ожидания:- Снижение затрат: Доля затрат на решение проблем производительности с привлечением сторонних подрядчиков значительно сократилась. Экспертиза и знания остались в компании.
- Скорость реакции: Перешли от реактивного (ждём жалобу от пользователя) к проактивному мониторингу. Время обнаружения критических инцидентов сократилось с часов до минут за счёт автоматических оповещений.
- Качество инфраструктуры: На этапе пилота система выявила и помогла устранить множество проблемных конфигураций 1С. Удалось решить хронические проблемы с «тяжёлыми» операциями, массовыми взаимоблокировками, а также с аномальным потреблением памяти, которые раньше были частым источником сбоев.
«Про-Контроль» — это не просто мониторинг, это новый стандарт управления ИТ-инфраструктурой. Сегодня инструмент доказал свою эффективность и масштабируется на другие дивизионы Холдинга. Мы больше не ждём сбоев — мы их предотвращаем. А главное — мы создали решение, которое полностью контролируем сами, от кода до эксплуатации.
