Data Engineer в Отдел разработки инструментов и аналитики данных

В команду дата-инженеров (DE) Блока Финансы требуются специалисты по работе с большими данными. Мы готовим и выгружаем данные для дата-сайентистов (DS) Блока Финансы для обучения моделей машинного обучения. Как следствие, работаем по интересным задачам исследования данных с широким спектром данных: все розничные и корпоративные банковские продукты, экосистемные данные (продукты, клиенты, операции), что заметно развивает кругозор и профессиональную эрудицию наших сотрудников. Мы много работаем с большими объемами данных (таблицы по 20Тб), даем опыт работы с современным техстеком, который востребован в корпоративных хранилищах данных и исследованиях данных: Hadoop, SPARK, Python, GreenPlum (Postgre). Работаем в тесной кооперации с бизнес-аналитиками и дата-сайентистами, чтобы максимально быстро доставить необходимые данные.Обязанности Сбор требований к данным, понять зачем нужны данные заказчику, как будет использовать Поиск данных, анализ корректности и соответствия бизнес-задаче Проверка качества данных Выгрузка данных (ETL), разработка витрин, оптимизация при необходимости Требования Обязательно: опыт разработки SQL-запросов или SPARK API Желательно (будет плюсом): Опыт разработки сложных SQL-запросов (несколько и более таблиц >100млн строк, использование аналитических функций) Знание банковских продуктов и опыт работы с банковскими данными (физические и юридические лица) Опыт сбора и документирования требований Опыт работы (написание и оптимизация запросов, проектирование витрин и т.п.) на классических СУБД (Teradata, Oracle, MS SQL, My SQL, Postgre и т.п.) Опыт работы на Hadoop(Hive/Impala) и/или SPARK Опыт проектирования и внедрения СУБД или DWH или BI Опыт разработки отчетности Условия Стабильный оклад и социальная поддержка сотрудников Официальное оформление Расширенный ДМС с первого дня и льготное страхование для близких Корпоративное обучение в Виртуальной школе Сбера Бесплатную подписку СберПрайм+ и скидки на продукты компаний-партнеров Корпоративную пенсионную программу Ипотеку выгоднее на 4% для каждого сотрудника