И снова поговорим про ETL
На PyCon RU я сравнивал 2 ETL-инструмента в экосистема Python:
- Luigi
- Apache Airflow
И в конце упоминал ещё несколько батареек на которые стоит обратить внимание. Среди них был
Prefect.
Это относительно новый инструмент, который появился в результате коллаборации разработчиков из Apache Airflow и Dask. Мотивацию о создании нового инструмента они описали в посте
Why not Airflow?. Но сейчас не об этом.
Вчера состоялся
новый релиз Prefect, где наконец появился UI дэшборд. Я до этого времени особо не обращал на него пристального внимания, т.к. именно UI фишечки и не хватало. Кстати, небольшой пример пайплайна на Prefect я писал в рамках подготовки к PyCon RU 19.
Материалы:
-
NYC Yellow Taxi Data Pipeline на Prefect
-
Примеры пайплайнов на Airflow, Luigi, Prefect для выступления на PyCon RU 19
- Доклад на PyCon RU 19:
ETL инструменты в экосистеме Python- Сайт
Prefect