В обще это 2 топ книги по spark. Но нужно еще знать Python или Scala для Spark. И не забывать, что есть 2 типа инженера данных - hardcore и gentle. В зависимости от задач и целей, можно двигаться от одного к другому. Я вот ощущаю себя gentle, и теперь хочу развиваться в hardcore, поэтому и фокусируюсь на python, spark. Даже не смотря на то, что на работе могу решать все задачи без Spark/Python.

10 comments

А в чём разница? Что такое hardcore, и что такое "gentle"?
Посмотрите вебинары, там все объясняется
Что покоробило в эффективном спарке нет ни слова про эффективные джоины
Rose Petal
oh, ok
Ксения, привет! На datalearn в 1 модуле есть видео gentle vs hardcore data engineer.
Rose Petal
А в чём разница? Что такое hardcore, и что такое "gentle"?
Кстати не хочешь в нашем вебинаре про свой опыт рассказать с Azure?
А не у кого нет в пдф lean data? Могу скинуть "графики, которые по понимают"))
Интересен также стек не на JVM. Big Data на Rust?
Товарищ автор, не могли бы прояснить немного, вы изучаете ml и data engineering? Это оправданно, изучать одновременно два направления?