Толкового курса там так и нет) все учат инструментам, а не профессии.

Вот интерестно с чего начать? Я работаю Data Analyst, хочу нырнуть больше к Engineer.
Хорошо знаю SQL, Excel(VBA), пытаюсь освоить Python.
Работал с БД Oracle, Postgres, MySQL, MSSQL
Визуализация в PowerBI/EXCEL
Подскажешь с чего лучше начать?

Тоже иду туда из аналитики. Питон это must have, учи и применяй везде, где можно, чтобы набивать руку

Я, просто, закончил экономиста и вот программирование очень тяжело дается. Плюс понял что нужно еще обуздать Bash и Linux или нет?

да мало кто учился сразу на computer science. По питону вот бесплатный хороший курс https://stepik.org/course/67/promo и https://stepik.org/course/512/promo

Bash и Linux тоже надо (хоть немного, это тоже база). Меня самого расстраивает что у DE так много инструментов, и во всех надо хоть как-то разбираться.

Data Engineer - это инженер, который понимает мир данных и аналитиков. Реальной профессии учат только на местах, т.к. не существует универсальных подходов в решении задач по big data.
Я пришел в Авито как младший инженер данных пару лет назад с маленьким опытом в питоне, ETL и BI, а также небольшим багажом теории DWH. Из теории важно знать разные варианты моделей данных и принципы работы распределенных вычислений, (как в MPP базах, так и в классическом MapReduce).
Инструментов слишком много, а одну и ту же задачу можно решить десятком разных вариантов и инструментов. Неплохо бы понимать чем хороши те или иные подходы: где подходит Hadoop, а где лучше MPP; чем хорош Data Vault или Anchor Model, а где нормализация вовсе не нужна.
Если не ставить себе цель прийти в DE сразу мидлом, то знаний основ и пары-тройки попыток построить какие-нибудь пайпланы данных должно хватить

я и без pyhton хорошо себя чувствую. Мне кажется главное понимать как построить решение и какие инструменты использовать, pyhton это одно из решений.

Linux и CLI - это не программирование. SQL точно надо знать, и понимать как end to end решения делать в теории.

Ну, например я себе сделал стек на облаке google, сохраняю файлики от АПИ в Google Storage от туда они пишутся в БД Postgres в этой БД созданы процедуры/функции которые запускаются из AirFlow.
Так вот 80% изъятия из апи и загрузка в облаке все на питоне. Есть вариант на Ruby/JS/PHP
Без языка программирования это нельзя было сделать.
Какой вы язык используете ?

Спасибо за ссылки!

А можно было сделать другой стек на облаке. Взять ETL инструмент с marketplace который поддерживает API и где не надо кодить. Вариаций много на эту тему. Главное есть результат, а как его получили уже другой вопрос. Одна и таже задача может быть решена несколькими способами.

Кстати в python как хранится Client ID and Client Secret как string?

Я вот иногда не понимаю, вот скажите
Delete from test_tbl
Where report_date=now()
;
Insert into test_tbl
Select * from tmp_test_tbl
;

Это ETL? И можно пример, где не нужно кодить ?

Не совсем понимаю ))
Вы про аутентификацию?

Это ELT. Для меня слова ETL/ELT - это просто синоним к слову интеграциия данных, в контексте загрузка данных в DW.

Аутентификация происходит через ключ, но его нужно для это вставить в код. Хотя я вот нашел пример из документации, нужно json сохранить на машину https://developers.google.com/analytics/devguides/reporting/core/v4/quickstart/service-py но это не безопасно, ключи не захешированы.

Это если через локальнкю машину делаешь, тогда просто в переменку environ("credntia...") Заганяем путь json ключа
А если через облако, тогда аутентификация не нужна и про это не пишут или я просо не нашел.
Вы скинули на АПИ гугл аналитики.
А есть еще апи внутри облака
https://cloud.google.com/python/getting-started/authenticate-users

Извините, вклинюсь, а как api-токены разных сервисов безопасно в облаке хранить?

Я вот по секурности ваще не особо шарю, но в облаке я так понимаю своя система защиты. Главное не делать доступ для всего мира и все будет норм )