Инжиниринг Данных
У AWS главный продукт для загрузки данных (ETL/ELT) - Glue. До него был просто data pipeline.

Glue это managed services (SaaS), это значит, что это решение хостится в AWS, и на не надо его устанавливать и настраивать. Для сравнения виртуальная машина с ОС это IaaS, а Redshift это PaaS.

Основной движок Glue это Spark. То есть мы может описывать трансформации, использую Spark (pySpark и SparkSQL).

Раньше это решение было только Batch (то есть выполняем загрузку по расписанию), а теперь появилась опция для стриминга.

2 comments

Nick Serebrennikov
Glue - Дорогущее днище в плане отладки и документации
Den Mak
Все зависит от задач, для большинства классических задач глу пожалуй слишком громоздкий, в этом плане Azure Data Factory поинтереснее и подешевле выходит.