А я купил на юдемай за 900 рублей курс по аф. Все норм, но французский английский сначала напрягает. Первые часа 3-4 =))

главное это применение, если просто пройти курс, через месяц забудется.

Я уже даже задачу сделал, благо питончик есть в бг, но хотел чуть более системно подойти к пониманию, а не копи-паст и стаковерфлоу =) а в этом курсе интересный набор, докер композ, хайв, етс, то есть еще такое верхнеур погружение в стек всего процесса

Дай ссылку плз, какой именно?

А можно узнать, почему именно упомянутая команда из Амазона посчитала Airflow сложным? Мне кажется получился бы хороший пост на Ваш канал.

Если @dimoobraznii не будет против =)

Мы в команде DWH в Авито сразу отказались от идеи его внедрять именно из-за сложности в поддержке: там под капотом столько всего, что изменять что-под под себя - крайне сложная задача. Сегодня уже Prefect (https://www.prefect.io/) считается намного более модным, чем Airflow. Чуваки из Airflow ушли, потому что были не согласны с его сложной архитектурой и запили свое решение с блекджеком и всем остальным. Код реально выглядит приятно, а вместо страшного celery под капотом dask. Но, тем не менее, проект еще не production ready. Думаю, через год/два - вполне себе.
Мы же в DWH запилили свой мини-фреймворк ETL и свой мини-оркестратор, которые тупы, как бревно (отсюда и простота в поддержке). Основной прикол нашего оркестратора заключается в том, что он может менять DAG в runtime: мы часто пересчитываем витрины пачками (целые ветки), поэтому, чтобы разные пересчеты не аффектили друг-друга - меняем DAG на лету.