Python developer (Airflow / dbt) (компания не указана)
IT-направление
**Python developer (Airflow / dbt)** #удаленка #офис **Компания**: Arenadata ☑️**Обязанности**: -Разработка функциональности продукта на базе Apache Airflow: разработка кастомных операторов, хуков и провайдеров; -Разработка модулей dbt: создание адаптеров к новым источникам данных, разработка кастомных плагинов; -Проектирование архитектуры модулей и коннекторов; -Взаимодействие с архитекторами и продуктовой командой для определения стратегии развития платформы данных; -Разработка и поддержка тестовой инфраструктуры: unit-тесты, интеграционные тесты; -Составление архитектурных документов и технических записок по принятым решениям; -Защита и обоснование архитектурных и технических решений; -Участие в code review; -Ревью пользовательской и технической документации по продуктам; ☑️**Опыт работы:** -От 5 лет опыта в разработке на Python, из них значительная часть - продуктовая разработка инструментов для работы с данными; -Практический опыт работы с dbt Core: понимание архитектуры, опыт разработки или доработки адаптеров; -Знание стека Big Data: экосистема Apache Hadoop (HDFS, YARN, MapReduce), Apache Spark / PySpark, Apache Ozone, Trino, Apache Hive; -Понимание принципов распределённого хранения и вычислений; -Опыт работы с различными СУБД от 3 лет; ☑️**Профессиональные знания, умения и навыки:** -Знание внутреннего устройства Apache Airflow: архитектура, scheduler, executor-ы (Celery, Kubernetes), plugin-система, API провайдеров; -Понимание архитектуры dbt Core: жизненный цикл выполнения, система адаптеров, протокол взаимодействия с источниками, Jinja-компиляция, манифест и артефакты; -Уверенное владение Python 3; -Опыт разработки коннекторов/драйверов к СУБД: знание DB-API 2.0, SQLAlchemy, ODBC/JDBC; -Знание принципов устройства и функционирования операционных систем семейства Linux; -Опыт работы с Git; -Понимание принципов непрерывной интеграции и непрерывной доставки (CI/CD); -Опыт контейнеризации: Docker, Docker Compose; понимание Kubernetes; -Декомпозиция задач разработки и умение оценивать трудозатраты; ☑️**Будет плюсом** -Опыт коммитов в open source (Apache Airflow, dbt, dbt-адаптеры); -Опыт разработки собственных dbt-адаптеров под нестандартные источники. **Контакты: ****career**@arenadata.io **Python Job** 💬 [в Telegram](https://t.me/job_python) | 💙 [в VK](https://vk.com/job_python) | 💬 [в Max](https://max.ru/job_python)