Недавно обнаружил, что вышла 5-я версия популярного task queue Celery: https://docs.celeryproject.org/en/stable/whatsnew-5.0.html

В прошлом этот инструмент был моим главным оружием для обработки множества фоновых задач. В пике нагрузок у меня получалось обрабатывать до 400 тасок в секунду.

В начале 2016 я написал небольшое руководство по лучшим практикам в работе с Celery, до сих пор около 30-40 человек в день заходят на эту статью: https://khashtamov.com/ru/celery-best-practices/

А вы используете Celery?