Архитектор DWH (Витрины Розничного бизнеса)

Основные задачи: Выполнение функциональных обязанностей в рамках программы по созданию целевой платформы данных на базе стека технологий от Arenadata; а так же Postgresql, Hadoop, Airflow, Spark, Flink, Kafka; Взаимодействие с техническими-владельцами систем источников с целью уточнения семантики данных, особенностей бизнес-процессов и используемых объектов; Разработка стандартов загрузки, хранения и доступа к данным в Greenplum, архитектурный надзор за реализацией конвейера Данных; Взаимодействие с командами платформы данных, разрабатывающими конвейер Данных, разработчиками Единой Модели детального слоя, озера данных и Витрин Данных; Согласование архитектуры с подразделениями информационной безопасности, корпоративной архитектуры и поддержки; Выявление рисков и недостатков в существующей архитектуре данных; Ведение репозитория архитектурных артефактов и другой архитектурной документации; Проектирование способов интеграции Платформы данных с внешними системами; Участие в процессах планирования работ, определения ресурсов и оценки трудозатрат, рисков проекта. Участие в тестировании и в приемо-сдаточных испытаниях разработанного функционала. Какие знания и навыки для нас важны: Опыт разработки архитектуры ETL от 2-х лет, для высоконагруженных хранилищ данных; Глубокие знания типовых трансформаций данных в ETL/ELT процессах, подходов к версионированию данных в хранилищах, реализации регламентной загрузки данных с большим инкрементом; Опыт разработки и оптимизации ETL процессов в детальный слой хранилища Банка или Корпоративное Хранилище Данных крупного предприятия финансовой сферы; Наличие опыта создания сложных инфраструктурных решений, проектирования решений, в частности опыт проектирования API, схем данных, архитектурных артефактов; Опыт разработки на одном из следующих ETL инструментов: SAS DI, Informatica PC, ODI как преимущество; Опыт работы с одной из СУБД GreenPlum, PostgreSQL; Опыт проектирования приложений на базе трехзвенной архитектуры. Опыт развертывания Linux серверов/ контейнеров, скриптовых языков (Bash) Интеграции информационных систем, знание подходов, шаблонов, технологий, инструментов проектирования; Построения архитектурных решений с учётом функциональных и нефункциональных требований; Желателен опыт разработки/проектирования веб приложений (React+java) Работа с PostgreSQL, Spark, Airflow, Kafka, ETL-инструментами, MS Visio, системами управления ИТ архитектурой.