Инжиниринг Данных
А это я с Kent Graziano (который будет выступать на вебинары выше) на kick off Snowflake Vancouver User Group. Он является chief evangelist в Snowflake с начала основания компании. До этого он был Oracle консультантом и блогером, имел статус Oracle Ace Director. На встречи он рассказал как пришел в Snowflake и насколько его поразила способность Snowflake работать с BigData без Hadoop и MapReduce. Просто загружаем ТБ данных и пишем SQL и все работает. Это наверно было 2012-13 год. Все еще активно говорили про Hadoop, о том как он заменит хранилище данных, но в итоге Cloudera и Hortonworks объединились и им это не помогло. Технологии Hadoop отлично послужила, но все ушло вперед. Облако принесло elasticity, контейнеры, и Snowflake использовал преимущества новых технологий и создали революционный продукт.
edited  

5 comments

Excellent Name
Очередные похороны хадупа, которые так и не наступают, несмотря на все заявления. Вы забываете, что огромное количество крупных компаний в облака не уходят по банальным причинам, вроде различных законов о тайне связи или банковской тайне (по крайней мере в РФ), и эти компании разворачивают ЦОДы и балом там правит именно хадуп, который не только не умирает, но и продолжает развиваться
1
Dmitry Anoshin
Excellent Name
Очередные похороны хадупа, которые так и не наступают, несмотря на все заявления. Вы забываете, что огромное количество крупных компаний в облака не уходят по банальным причинам, вроде различных законов о тайне связи или банковской тайне (по крайней мере в РФ), и эти компании разворачивают ЦОДы и балом там правит именно хадуп, который не только не умирает, но и продолжает развиваться
Я и не спорю, на разных рынка разные технологии и требования и в разных индустриях по разному. Я пишу про то, что происходит вокруг меня, то есть у я bias не к Hadoop.
Stanislav Lysikov
Excellent Name
Очередные похороны хадупа, которые так и не наступают, несмотря на все заявления. Вы забываете, что огромное количество крупных компаний в облака не уходят по банальным причинам, вроде различных законов о тайне связи или банковской тайне (по крайней мере в РФ), и эти компании разворачивают ЦОДы и балом там правит именно хадуп, который не только не умирает, но и продолжает развиваться
Странная причина для жизни хадупа у вас: облаков нет - значит хадуп. Не клеится.
Скорее я бы назвал самое дешевое хранение за терабайт с возможностью обеспечения хорошей скорости запросов по этим терабайтам.
И это только для тех ребят, которые мерят свои данные стойками.
В остальных случаях любые МПП будут быстрее, удобнее и дешевле.
1
Excellent Name
Stanislav Lysikov
Странная причина для жизни хадупа у вас: облаков нет - значит хадуп. Не клеится. Скорее я бы назвал самое дешевое хранение за терабайт с возможностью обеспечения хорошей скорости запросов по этим терабайтам. И это только для тех ребят, которые мерят свои данные стойками. В остальных случаях любые МПП будут быстрее, удобнее и дешевле.
Речь как раз шла об этих ребятах, меряющих стойками. Потому и хадуп. Хотя у таких ребят и МПП обычно есть, и ещё много всего.
1
Stanislav Lysikov
Excellent Name
Речь как раз шла об этих ребятах, меряющих стойками. Потому и хадуп. Хотя у таких ребят и МПП обычно есть, и ещё много всего.
Речь шла про забросил тб и поехал. В 12 году мало было дешёвых решений которые такое умели.
Сейчас однонодовый кликхаус заберёт 80% потребностей средней конторки типа иви.
А облака помогли перестать строить хадупы на десятки терабайт, и это благо. Смешно поднимать бигдату, когда ей на вход пытаются из почты эксельки сливать.
1