Инжиниринг Данных
Очень долгое время я особо не углублялся в Python, использовал его постолько посколько для Spark (PySpark), для ELT/ETL и для задач data quality.

Вчера я пообщался с VP Sales plotly. Это Канадская компания, у которой есть 2 opensource решения (библиотека визуализаций plotly и Dash - фреймворк для аналитического решения). Монетизация через Enterprise Dash. То есть условная компания, у которой уже есть Tableau/PowerBI или любой другой традиционный инструмент, платформа данных, уперлась в своем развитие. Лицензии на BI продукты дорогие, data scientist не могу правильно презентовать свою работу, но они отлично знаю Python и они создают BI решение с элементами BI/AI/ML полностью кастомизированное. То есть такая эволюция от традиционных BI решений к Аналитическим кастомизированным решениям.

VP Sales был Country Manager Tableau в Канаде и создавал Sales процессы в Канаде. После того как SalesForce поглотил Tableau, многие вещи испортились и он присоединился к этой компании. Мы с ним относительно хорошо общаемся, и решили попробовать посотрудничать. Я сам никогда не создавал web аналитические решения, так что обложился книгами по python и попробую что-нибудь сделать. Возможно это новая ниша и новый рынок, на котором не высокая конкуренция. Все эти решения работают в облаке (AWS/Azure/GCP) и берут данные из data platforms, так что интересно будет проверить эту гипотезу.

PS Самый популярные библиотеки python для анализа данных:
NumPy (Numerical Python) - библиотека для работы с массивом данных, линейной алгебры и прочей матемтиматики

Pandas (произошел от panel data, термин в эконометрике для многомерных структур)- библиотека для работы со структурированными данными через DataFrame (таблица). В нем мы можем трансформировать наши данные.

matplotlib - библиотека для создание графиков и 2х мерной визуализации.

IPython - продвинутая среда для Python

SciPy - набор пакетов для наукоемких вычислений. Вместе NumPy и SciPy заменяют MATLAB (ну почти).

scikit-learn - библиотека для ML

statsmodels - статистический пакет

А вам достаточно коробочного BI решения или вы пошли дальше и внедряете custom решение на R/Python?
edited  

15 comments

Show 4 more comments
Serega Vitvitskiy
в одной из крупнейших торговых сетей продуктов питания в РФ. Зоопарк БД: GreenPlum, Hadoop Hive, Clickhouse, PostgreSQL.
1
Serega Vitvitskiy
Dmitry Anoshin
Dash это как раз такой интерфейс. А где внедряешь Табло? Какая БД для хранилища?
Я снова по гулял по недрам Gallery выглядит достойно, надо взять на вооружение, потестить на датасетах. Интересно получится ли сделать такое на бесплатной версии https://dash-gallery.plotly.host/dash-manufacture-spc-dashboard/
1
dgj dfsh
Используем dash (dj-plotly-dash форк под django) на проде в нескольких проектах для крупных горнодобывающих компаний.
1
dgj dfsh
Serega Vitvitskiy
Я снова по гулял по недрам Gallery выглядит достойно, надо взять на вооружение, потестить на датасетах. Интересно получится ли сделать такое на бесплатной версии https://dash-gallery.plotly.host/dash-manufacture-spc-dashboard/
Легко
1
yury
Imho, надо считать TCO и дело не в достаточности коробки, а в потребностях: если даш простой, светофоры, бары, но дриллов делать не надо и есть понимание, что он статичен, тогда разраб фронт + бэк сделают быстро на d3 и Api, уйдет в прод, о лицензиях думать не надо, только следить за чистотой данных. Если же self-service, возможность правок постоянных, бизнес меняется - TCO open-source растет, отдать бизнесу не получится.. в идеале иметь людей и на бесплатные вещи и на энтерпрайз, где ты платишь за быстроту/удобство разработки.

+ Те же фронтовики могут эксты делать, коих для пби, клика уже сотни, то есть DRY для опена и Энтерпрайза.
1
Den Mak
Попробуйте metabase, on попроще чем dash or Tableau, но вполне рабочий вариант для многих сценариев
2
Serega Vitvitskiy
yury
Imho, надо считать TCO и дело не в достаточности коробки, а в потребностях: если даш простой, светофоры, бары, но дриллов делать не надо и есть понимание, что он статичен, тогда разраб фронт + бэк сделают быстро на d3 и Api, уйдет в прод, о лицензиях думать не надо, только следить за чистотой данных. Если же self-service, возможность правок постоянных, бизнес меняется - TCO open-source растет, отдать бизнесу не получится.. в идеале иметь людей и на бесплатные вещи и на энтерпрайз, где ты платишь за быстроту/удобство разработки. + Те же фронтовики могут эксты делать, коих для пби, клика уже сотни, то есть DRY для опена и Энтерпрайза.
я мысленно склоняюсь к тому, что инструменты надо разделять, self-service - для BI. Для монструозных дашбордов с кучей детализаций и правок в течение работы трудозатраты серьезно растут и гибкость того же табло не хватает по личным ощущениям
1
yury
Serega Vitvitskiy
я мысленно склоняюсь к тому, что инструменты надо разделять, self-service - для BI. Для монструозных дашбордов с кучей детализаций и правок в течение работы трудозатраты серьезно растут и гибкость того же табло не хватает по личным ощущениям
Да, ТСО табло дашиков со сложной логикой и развитие 'вещи в себе' в таком случае сопоставима с накоденным д3. Только в д3 ты можешь настройки и логику вывести в небольшой js, понятный любому, а как связаны параметры, экшны источники в тябле - уже разбираться долго надо. =)
1
Anatoly Bespalov
Python (Plotly) использую для построения кастомных дашбордов по запросам продакт менеджеров и оунеров
1
Anastassiya
Привет! Я использую bokeh для python, очень похоже на plotly, но совсем опенсорс, что мне лично критично.в облаках не дают создавать дашборды, вот я и делаю их сама)очень нравится, но вопрос с callback-ми между графиками решается качественно только с js. Что конечно не критично, но мне пришлось его поучить, чтобы понять, как допилить графики
yury
Anastassiya
Привет! Я использую bokeh для python, очень похоже на plotly, но совсем опенсорс, что мне лично критично.в облаках не дают создавать дашборды, вот я и делаю их сама)очень нравится, но вопрос с callback-ми между графиками решается качественно только с js. Что конечно не критично, но мне пришлось его поучить, чтобы понять, как допилить графики
О-да, повторить интерактивное взаимодействие в js это JeSt =) и по сути 'каждый раз заново' =)