Тоже иду туда из аналитики. Питон это must have, учи и применяй везде, где можно, чтобы набивать руку

Я, просто, закончил экономиста и вот программирование очень тяжело дается. Плюс понял что нужно еще обуздать Bash и Linux или нет?

Linux и CLI - это не программирование. SQL точно надо знать, и понимать как end to end решения делать в теории.

да мало кто учился сразу на computer science. По питону вот бесплатный хороший курс https://stepik.org/course/67/promo и https://stepik.org/course/512/promo Bash и Linux тоже надо (хоть немного, это тоже база). Меня самого расстраивает что у DE так много инструментов, и во всех надо хоть как-то разбираться.

Ну, например я себе сделал стек на облаке google, сохраняю файлики от АПИ в Google Storage от туда они пишутся в БД Postgres в этой БД созданы процедуры/функции которые запускаются из AirFlow. Так вот 80% изъятия из апи и загрузка в облаке все на питоне. Есть вариант на Ruby/JS/PHP Без языка программирования это нельзя было сделать. Какой вы язык используете ?

Ну, например я себе сделал стек на облаке google, сохраняю файлики от АПИ в Google Storage от туда они пишутся в БД Postgres в этой БД созданы процедуры/функции которые запускаются из AirFlow. Так вот 80% изъятия из апи и загрузка в облаке все на питоне. Есть вариант на Ruby/JS/PHP Без языка программирования это нельзя было сделать. Какой вы язык используете ?

А можно было сделать другой стек на облаке. Взять ETL инструмент с marketplace который поддерживает API и где не надо кодить. Вариаций много на эту тему. Главное есть результат, а как его получили уже другой вопрос. Одна и таже задача может быть решена несколькими способами.

Кстати в python как хранится Client ID and Client Secret как string?

Я вот иногда не понимаю, вот скажите Delete from test_tbl Where report_date=now() ; Insert into test_tbl Select * from tmp_test_tbl ; Это ETL? И можно пример, где не нужно кодить ?

Не совсем понимаю )) Вы про аутентификацию?

Аутентификация происходит через ключ, но его нужно для это вставить в код. Хотя я вот нашел пример из документации, нужно json сохранить на машину https://developers.google.com/analytics/devguides/reporting/core/v4/quickstart/service-py но это не безопасно, ключи не захешированы.

Это если через локальнкю машину делаешь, тогда просто в переменку environ("credntia...") Заганяем путь json ключа А если через облако, тогда аутентификация не нужна и про это не пишут или я просо не нашел. Вы скинули на АПИ гугл аналитики. А есть еще апи внутри облака https://cloud.google.com/python/getting-started/authenticate-users

Извините, вклинюсь, а как api-токены разных сервисов безопасно в облаке хранить?

Data Engineer - это инженер, который понимает мир данных и аналитиков. Реальной профессии учат только на местах, т.к. не существует универсальных подходов в решении задач по big data. Я пришел в Авито как младший инженер данных пару лет назад с маленьким опытом в питоне, ETL и BI, а также небольшим багажом теории DWH. Из теории важно знать разные варианты моделей данных и принципы работы распределенных вычислений, (как в MPP базах, так и в классическом MapReduce). Инструментов слишком много, а одну и ту же задачу можно решить десятком разных вариантов и инструментов. Неплохо бы понимать чем хороши те или иные подходы: где подходит Hadoop, а где лучше MPP; чем хорош Data Vault или Anchor Model, а где нормализация вовсе не нужна. Если не ставить себе цель прийти в DE сразу мидлом, то знаний основ и пары-тройки попыток построить какие-нибудь пайпланы данных должно хватить

>Из теории важно знать разные варианты моделей данных и принципы работы распределенных вычислений, (как в MPP базах, так и в классическом MapReduce). а что можете посоветовать почитать по теории?