Data Engineer (Python + Spark) (компания не указана)

Data Scientist / ML Engineer

**Data Engineer (Python + Spark)** #офис Москва **Компания**: X5 Tech ☑️ **Задача** Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике • Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно) • Настраивать хранение и доступность данных в DWH • Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари • Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей • Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной ☑️**Наш стек** • PySpark{2,3} / Spark SQL • Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum • Airflow • Python3 • Docker, YARN / k8s • pytest [**Откликнуться**](https://rabota.x5.ru/vacancies/b5e6345d-3453-4489-b421-6e292006809a) **Python Job** [в Telegram](https://t.me/job_python) | [в VK](https://vk.com/job_python) | [в Max](https://max.ru/job_python)