Text
#вакансия #senior #DataEngineer #Python #etl #dwh #remote #удаленка #fulltime
Data Engineer Middle+/Senior
Формат работы: Удаленно
Локация: Любая
Занятость: Полная
З/п: 200-290 т.р. + премии
Компания: ggsel
Проект - маркетплейс цифровых товаров
Отклики сюда ➡️ Data Engineer
Основные задачи
Разработка и поддержка пайплайнов
· Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse.
· Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных.
· Построение слоёв данных с использованием dbt.
· Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий.
Оптимизация хранилища и производительности
· Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест.
· Оптимизация SQL-запросов для снижения нагрузки на БД.
· Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O.
· Контроль стоимости хранения.
Администрирование и надёжность
· Обеспечение отказоустойчивости: настройка репликации и бэкапов.
· Мониторинг состояния пайплайнов и баз данных.
· Оперативное реагирование на инциденты.
Требования
Глубокое знание ClickHouse
· Проектирование схем: Знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения .
· Оптимизация запросов: Умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции.
· Администрирование: Настройка шардирования и репликации, управление TTL, мониторинг слияний.
Инструменты ETL/ELT и Оркестрация
· Оркестрация: Управление сбором данных через Apache Airflow.
· Трансформация: Опыт работы с dbt для построения слоев данных.
Языки и Инфраструктура
· Python: Разработка ETL-скриптов, работа с Pandas, интеграция с API.
· SQL: Владение на уровне эксперта (аналитические запросы, оптимизация).
· Инфраструктура: Docker (для развертывания ClickHouse), Git.
Условия
· Удаленная работа из любой точки мира.
· Конкурентная зарплата + performance премия 2 раза в год.
· Гибкий график и фокус на результат.
· Оплата обучения, курсов и конференций.
· Возможность реально влиять на продукт и команду.
Отклик можно оставить на нашем корпоративном портале ➡️ Data Engineer