Инжиниринг Данных
Когда мы работаем с аналитикой мы часто слышим про кубы. Если честно, кубами и OLAP называют все в подряд без разбора, включая BI и хранилище данных. Давайте решим, что для нас OLAP куб это MOLAP, закэшированные данные в файле или in-memory, где мы используем язык MDX для работы с ними по средством Excel или BI инструмента. А все остальное пусть будет ROLAP или просто классический BI. Чем я и пользуюсь, например в Tableau. MDX я тоже не знаю и не собираюсь его использовать.

Так как я не использую MOLAP c 2011 года и стараюсь вообще его избегать, то я не являюсь экспертом. Если есть неточности, смело добавляйте комменты.
https://youtu.be/FWEQYomEbqw

7 comments

Rinat Shigapov
"Кубы - прошлый век" - цитирую эксперта из Avito
1
Dmitry Anoshin
Rinat Shigapov
"Кубы - прошлый век" - цитирую эксперта из Avito
для меня тоже, но я более уважительно отношусь к чужому труду, и многие компании еще используют эти решения и возможно успешно. А что в Авито считают сегодняшним днем?
Dmitry Anoshin
Про меня понятно - у меня "облачно"))
Rinat Shigapov
Подход Avito - изменчивая доменная область, поэтому метамодель представления данных должна быть гибкой - у них Anchor modeling используется.

Плоское представление, удобное для ad hoc sql запросов делается через слой витрин.
Dmitry Anoshin
Rinat Shigapov
Подход Avito - изменчивая доменная область, поэтому метамодель представления данных должна быть гибкой - у них Anchor modeling используется. Плоское представление, удобное для ad hoc sql запросов делается через слой витрин.
Там Vertica ещё?
Rinat Shigapov
Раньше была Vertica - не знаю, поменялось ли что у них
Den Mak
У анкор модели внутри авито, много хейтеров, ну и надо понимать, что эта модель в основном используется датасайнтистами для довольно нетривиальной аналитики и ML. Ребяткииз датасайнс в приватной беседе, посмеивались над ней. Многие команды используют свои собственные хранилища под свои нужды. Но вроде как сверяют с основным хранилищем.
Вообще кубы незаменимая вешь в корпоративной отчётности. Для работы с отношениями многие ко многим, или для полуаддитивных мер (например , остатки на счетах, на конец произвольного периода).без кубов придётся помучится. С клубами же это дело выбора типа агрегаци и для меры.
Если строить кубы в терминах предметной области, то на выходе получается семантическая модель данных понятная бизнесу, и её уже можно отдавать под фантиком селф сервис BI