AI-помощник
Обновлен 11.11.2026
Data Engineering на Python: ETL, Airflow, ClickHouse и dbt
Станьте дата-инженером: постройте конвейер данных интернет-магазина от базы и логов до аналитических витрин, которые обновляются сами каждый день.
Практические задания
Помощь от учителя
Поддержка 24/7
Программа курса
10 разделов • 47 уроков
1
Старт
1.4. Практикум: первый конвейер
2
Извлечение
2.1. Выгрузка из PostgreSQL
2.2. Инкрементальная загрузка
2.3. События из файлов
2.4. Данные из API
2.5. Практикум: модуль извлечения
3
Трансформация
3.1. Чистка и типы
3.2. Дубли и ключи
3.3. Контракт данных
3.4. Практикум: слой очистки
4
Озеро данных
4.1. Строки против колонок
4.2. Формат Parquet
4.3. Партиции и перезапись
4.4. Запросы к озеру в DuckDB
4.5. Практикум: озеро в Parquet
5
ClickHouse
5.1. Зачем нужен ClickHouse
5.2. Таблицы MergeTree
5.3. Загрузка из Python
5.4. Аналитические запросы
5.5. Практикум: склад в ClickHouse
6
Модель данных
6.1. Факты и измерения
6.2. История измерений
6.3. ReplacingMergeTree и дубли
6.4. Материализованные представления
6.5. Практикум: витрина продаж
7
dbt
7.1. Зачем нужен dbt
7.2. Источники и модели
7.3. Материализации
7.4. Тесты и документация
7.5. Макросы и снимки
7.6. Практикум: dbt-проект «Полки»
8
Airflow
8.1. Зачем оркестратор
8.2. Первый DAG
8.3. Логическая дата и интервалы
8.4. Зависимости и XCom
8.5. Ретраи и бэкфилл
8.6. Подключения и dbt в DAG
8.7. Практикум: ежедневный конвейер
9
Качество данных
9.1. Проверки качества
9.2. Алерты и наблюдаемость
9.3. Практикум: защита конвейера
10
Финал
10.1. Ускорение запросов
10.2. Потоковые данные
10.3. Финал и куда дальше
Преподаватели
Изучите преподавательский состав
Отзывы о курсе
0 отзыва
Войдите в аккаунт, чтобы оставить отзыв о курсе
Доступ навсегда
24/7 Support
Python
ETL
Apache Airflow
ClickHouse
dbt
Parquet
DuckDB
PostgreSQL
Docker Compose