Инжиниринг Данных
Одна из проблем в Амазон с озером данных в AWS - соответствие требованиям GDPR/HIPPA, то есть просто удалению клиентов (customer_id и все его записи) по запросу. Это легко сделать из таблицы в БД, но не просто из файла в S3. И вот новинка, теперь можно удалять из озера данных. https://aws.amazon.com/about-aws/whats-new/2020/07/amazon-athena-adds-support-querying-apache-hudi-datasets-amazon-s3-based-data-lake/

8 comments

Tasty Cake
Тэкс тэкс тэкс. Теперь в афине можно теперь делать команду delete? А update тоже сделали? Или также, как и раньше делать апсерты?
Tasty Cake
И ещё, где можно почитать как это делается на нижнем уровне? На интервью надо будет все это рассказывать
Dmitry Anoshin
Tasty Cake
Тэкс тэкс тэкс. Теперь в афине можно теперь делать команду delete? А update тоже сделали? Или также, как и раньше делать апсерты?
Я сам только увидел. А как делали upserts в Athena?
Dmitry Anoshin
Tasty Cake
И ещё, где можно почитать как это делается на нижнем уровне? На интервью надо будет все это рассказывать
Надо попробовать поделать, чтобы было что рассказывать.
Tasty Cake
Dmitry Anoshin
Я сам только увидел. А как делали upserts в Athena?
Также как в хайве: insert overwrite партицию. Но сделать delete в афине- это прям революция
Dmitry Anoshin
Tasty Cake
Также как в хайве: insert overwrite партицию. Но сделать delete в афине- это прям революция
Ну она наверно перезапишет просто партицию существующую. Это как делать UNLOAD операцию из Redshift или Python и писать в PARQUET с опцией OVERWRITE.
Tasty Cake
Dmitry Anoshin
Ну она наверно перезапишет просто партицию существующую. Это как делать UNLOAD операцию из Redshift или Python и писать в PARQUET с опцией OVERWRITE.
Надеюсь, что по утилизации ресурсов операция не будет дорогой. А то каждый нагруз- это деньги
Al T
Ну новость о том что athena может читать Hudi формат, если более конкретно то merge-on-read таблицы. Удалять через hudi