Интересный момент, многие слышали про GPU? Попалась статья (короткая) на хабр, про
Big Data с GPU. Там есть описание некскольких коммерческих решений, из которых я только знаю
Kinetica. Благодаря развитию и демократизации технологий, мы можем теперь попробовать запустить наше классическое решение на
виртуальной машине с GPU. И мы получим, серьезные вычислительные мощности. Обычно мы используем такие инстансы для ML/DL. Но что, если попробовать запустить open source Spark или Pentaho Data Integration (ETL) или может BI? Если кто пробовал запускать традиционные решения на GPU, расскажите про ваш опыт. Я бы хотел запустить ETL на GPU, и проверить насколько быстрей трансформации. Но проблама с передачей данных по сети никогда не уйдет.
Передачу данных можно оптимизировать, копируя их из сетевой карты в GPU прямо в kernel space, в частности есть RDMA over convergent Ethernet.