Друзья, для ресурса https://www.datalearn.ru нам нужно использовать реальные данные для заданий (структурированные и не структурированные данные). У меня есть на примете сайт, который я делал родственникам tradoonline.ru. Типичный пример онлайн магазина, маркетинговые каналы (Adwords, Metrica), данные трафика Google Analytics. То есть хороший пример, чтобы потренироваться, но не солидно.

Поэтому я подумал, что может, кто-то может предоставить датасеты? А может быть ваша компанию захочет принять участие в проекте? Вы даете нам обезличенные данные, мы на них тренируемся в условиях близких к реальным. Такое вот спонсорство (без денег), а данными и кейсами.

У нас уже больше 200 заявок на курс, и мы пытаемся привести впорядок механику сайта, и я заказа трипод на амазоне, скоро придет и я запишу первое видео.

Напомню цель ресурса, помочь вам не столько овладеть навыками data engineer (навыками овладеете, и поймете куда дальше копать, в зависимости от цели) а сколько понять, как можно помочь бизнесу разгрести данные, и извлечь из них ценность. Мы не будем нудеть про настройки хадупа, а постараемся по делу разложить по полочкам базовые вещи, ну и походу подправить.

Был кстати вопрос, почему не положить курс на степик? Степик это крутой ресурс, если вы хотите изучить конкретный предмет. Мы хотим решать комплексную задачу. Часть это задачи, куда пристроить новые навыки, как их монетизировать. Возможно получится создать экосистему и найти компании, которым нужны активные и умные ребята и девчата; Не найдем, тоже неплохо, создадим конкуренцию ребятам из Индии на международном рынке.

В общем, если интересно регистрируемся (это первая официальная реклама😜) .

Отдельное спасибо Роману Понамореву, которые взял на себя обязательства администратора ресурса, создал сайт и делает всякие интеграции по digital marketing. Хотите внести вклад и добавить результат в портфолио? Присоединяйтесь к data ambassadors (после регистрации можно добавиться в slack) и занимайтесь тем, чем вам нравиться;

9 comments

На кагле много датасетов. Они не подходят?
Russ
На кагле много датасетов. Они не подходят?
Нужен понятный контекст. Возможно на кагле есть сеты, но обычно там кусок данных для конкрентной задачи, а я хочу что-то вроде 360 градусов для компании +/- (маркетинг, продажи, и еще чего-нибудь). Я там не смотрел, если честно.
AWS data exchange ))
Как вариант - можно предложить сотрудничество благотворительному проекту, где на сайте есть перечисление денег на пожертвования. Это будет примерно похоже на коммерческие сайты, но скорее всего такие организации будут больше рады поделиться данными.
В коммерческих организациях поделиться данными без заключения контракта практически невозможно. Даже для хакатонов или просто тестовых заданий, нам приходится проводить аудит. Обфускация данных чаще всего приведёт к тому, что и контекст будет потерян для неподготовленного пользователя. Проще взять готовые учебные базы данных которые, например Microsoft, включает в пакет ms sql server.
Или разработать собственные наборы под различные индустрии.
https://opendata.usac.org/ готовые датасеты на миллионы строк
Плюс гугл опендата для госучреждений Америки тоже валом
Некоммерческие организации наверное должен публиковать всю свою статистику открыто
Можно брать статистику по просмотрам и редактированию Википедии https://stats.wikimedia.org/#/all-projects