Data Engineer Flink в SAP
IT-направление
Позиция: Data Engineer Flink Локация: РФ Формат работы: Удаленка Занятость: Полная ЗП: 280.000 - 340.000 руб Оформление: ИП (самозанятость при совмещении) Проект: Ритейл (Аутстафф) ** __В рамках проекта требуется специалист, который поможет перевести ключевые процессы обработки данных с классического SQL на потоковую обработку (streaming) в Apache Flink. Чем предстоит заниматься: __1) Участие в замене SAP на кастомную реализацию с использованием Apache Flink** 2) Перевод существующих SQL-логик и ETL-процессов в потоковую обработку (streaming) на Flink 3) Поддержка потоковых пайплайнов на Java + Flink 4) Интеграция с системами-источниками и приемниками данных через Kafka 5) Участие в проектировании архитектуры нового решения 6) Работа в команде с аналитиками и инженерами данных ** Наши пожелания к кандидатам**: ❗️**Apache Flink:** Реальный коммерческий опыт работы с потоковой обработкой (streaming) и stateful processing. ❗️**Kafka:** Опыт работы с продьюсерами и консьюмерами. **Kafka Streams** (библиотека для потоковой обработки). ❗️**DWH:** Опыт работы с хранилищами данных. **Java:** Уверенное знание многопоточности, коллекций, Stream API. ❗️**SQL:** Умение писать сложные запросы, понимание оконных функций, навыки оптимизации. S3:** К**ак хранилище ❗️**Архитектура данных:** Понимание принципов миграции с классических ETL/ELT на потоковую обработку. **Data Lake:** Знание форматов (Parquet/ORC) и концепций (снапшоты, инкременты) на примере Iceberg или аналогов. **SAP** (опыт работы с SAP как с источником данных). ❗️Spa**rk (л**юбой опыт). **Визуализация и витрины:** Опыт построения дашбордов/витрин с использованием Trino, SQL или dbt. Для отклика пишите в личные сообщения @yana_andreev Прикрепляйте сразу CV