Профессиональная IT-конференция разработчиков в нефтегазовой отрасли

Фреймворк для управления детальным слоем хранилища данных

Работа с данными, СУБД, системы хранения

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Специалисты по работе с данными.

Тезисы

В рамках проекта по созданию узла данных возникает острая необходимость по внедрению детального слоя в основное хранилище данных. Так как детальный слой фактически является центром хранилища данных управлять процессом приземления логической модели данных необходимо в автоматическом режиме. Для автоматизации процессов управления структурой данных детального слоя, автоматизации процессов загрузки данных в детальный слой и их последующей валидации был разработан фреймворк, о котором пойдет речь в этом докладе. Доклад в большей степени будет посвящен структуре фреймворка и на примерах показано какие задачи он может решать.

Иван Самохин

СИБУР Диджитал

Инженер-данных с бекграундом инженера-конструктора. За свой восьмилетний опыт промышленной разработки на Python разработал и внедрил более пятидесяти различных сервисов и библиотек в основном направленных на работу с данными. Сейчас активно занимается развитием и менторством других инженеров данных.

СИБУР Диджитал

СИБУР Диджитал — цифровой кластер, который решает креативные задачи по цифровизации нефтехимического производства и бизнеса. Для эффективного применения инструментов продвинутой аналитики и внедрения в компании data driven подходов необходимы механизмы работы с данными – сбор, хранение, управление качеством, визуализация. В нашем дата-офисе собирают и готовят к использованию данные, создают вычислительные структуры, автоматизируют процессы аналитики, делают BI-решения и озеро данных. Мы обучаем внутренних экспертов.

Видео

Другие доклады секции

Работа с данными, СУБД, системы хранения