Data-engineer - Системы и Алгоритмы
Product Manager
#вакансия #vacancy #удалённо #data #engineer #dataengineer ❕Аккредитованная ИТ-компания "Системы и Алгоритмы" ищет Инженера данных)❕ Роль: Data-engineer З/П: 270 000 - 295 000 р. gross Формат работы: удаленно по РФ Вид занятости: full-time Локация: любой город РФ Гражданство: РФ ✨Преимущества позиции: • Участие в масштабном проекте цифровой трансформации, влияющем на ключевые производственные процессы. • Возможность увидеть результаты своей работы на реальном производстве, включая реальные системы, терминалы, интеграции. • Доступ к команде зрелых разработчиков и проектной поддержке: Team Lead, Product Owner, Project Manager. • Пространство для инициатив, развития и расширения зоны ответственности. ✨Краткое описание роли: Ищем инженера данных с сильными компетенциями архитектора данных и баз данных, который сможет взять на себя планирование и проведение внедрения инструментов хранения и обработки данных. Должно иметь подтвержденный опыт работы с нашим технологическим стеком (Postgres, MSSQL, Kafka, Flink, Airflow, Iceberg, Trino/StarRocks), уметь проектировать целевую архитектуру хранилищ, анализировать потоки данных и выбирать релевантный инструментарий. Критичны навыки работы с современными data-инструментами, опыт проектирования пайплайнов, обеспечения качества данных и уверенное владение Python для написания DAG, кастомных операторов и интеграций. 🔹 Что ждём от вас: • Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО. • Опыт работы с ключевыми компонентами нашего стека: - ODBMS/DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis). - Data Flow Tools: практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты). - Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3. - CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами. • Глубокие знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning). • Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors. • Навыки оптимизации: умение профилировать процессы, находить bottlenecks, оптимизировать SQL-запросы и настраивать ресурсы кластеров под нагрузку. • Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации). • Опыт организации хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity). • Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC). • Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+). • Опыт заведения и сопровождения заявок вService-Desk. • Умение структурировать информацию, работать с требованиями, документировать технические решения. • Английский — на уровне чтения и написания технической документации. 🔹 Будет плюсом: • Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.). • Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде. • Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE). • Опыт работы с CI/CD для data-пайплайнов. • Понимание принципов DDD, event-driven архитектуры. • Опыт работы с Apache NiFi. 📲 Контакты для связи: - @Serg06SA - +7 969 865 43 07