Разработчик Flink

Разработчик Flink

📍 Локация: РФ
🏠 Формат: Удалённо
💼 Занятость: Full-time

О проекте

Ищем разработчика с опытом работы со стриминговыми платформами и обработкой данных в реальном времени. Роль предполагает участие в развитии современной Data Platform, проектировании потоковых пайплайнов и построении Data Lake-архитектуры.

Основные задачи:
• Проектирование, разработка и сопровождение стриминговых пайплайнов
• Реализация бизнес-логики и трансформаций данных во Flink, Spark и Java
• Построение и сопровождение потоковой обработки данных от источника до витрин
• Инкрементальная загрузка и публикация витрин данных через dbt, Trino и Iceberg
• Проектирование структуры хранения и партиционирования данных в Data Lake
• Работа с колоночными форматами хранения данных и снапшотами
• Реализация надёжных механизмов доставки данных, обеспечение идемпотентности и обработки дубликатов
• Документирование архитектурных решений и участие в развитии платформы

Требования:
• Опыт работы со стриминговыми решениями либо сильная мотивация развиваться в направлении Streaming Data
• Практический опыт работы со стеком: Flink, Spark, Kafka, ClickHouse
• Понимание концепций и форматов Data Lake: Iceberg, Parquet, ORC, снапшоты, инкрементальная обработка данных
• Опыт реализации потоков данных вида Kafka → обработка → S3/Iceberg
• Понимание архитектуры потоковых данных и жизненного цикла данных от события до аналитической витрины
• Опыт проектирования и разработки высоконагруженных data pipelines
• Готовность участвовать в архитектурных обсуждениях и развитии платформы

Будет плюсом:
• Опыт работы с Trino, dbt и аналитическими витринами данных
• Опыт проектирования современных Lakehouse-решений
• Знание принципов Data Engineering и построения Data Platform
• Опыт работы с большими объёмами данных

Личные качества:
• Системное мышление
• Инициативность и самостоятельность
• Готовность предлагать архитектурные решения
• Желание изучать новые технологии и подходы

📩 Telegram: @hidden

#flink #developer #dataengineer #streaming #kafka #spark #clickhouse #datalake #iceberg #trino #dbt #java #bigdata #etl #elt #remote #fulltime #job #vacancy #hiring