Привет! Очень понравилась статья! У меня такой кейс - есть много скриптов на кронтабе которые выполняют различные мониторинговые задачи (cpu, ram. disk space, send metrics to cloudwatch, send notifications etc..) Все эти python скрипты особо не связаны по запуску между собой ( т/е как я понимаю DAG тут особо не нужен)И вот в целом такой вопрос - имеет ли смысл мигрировать все скрипты для запуска на airflow?Считается ли это хорошей практикой для поддержания мониторинга системы или airflow больше для целей data pipelin'ов? Спасибо p.s ELK stack я так же рассматриваю, но пока об этом я мало что могу сказать, так как пока только начал изучать, a Data dog - он платный
Airflow будет явно overkill, т.к. появится сущность, которую нужно будет поддерживать с прицепом. Помимо ELK для таких штук есть prometheus. Можно покопать и в эту сторону.
Спасибо
p.s ELK stack я так же рассматриваю, но пока об этом я мало что могу сказать, так как пока только начал изучать, a Data dog - он платный
Помимо ELK для таких штук есть prometheus. Можно покопать и в эту сторону.