Не коммичу( на питоне коммитил сам для себя, а щас на скале пишу в тетрадках ебаных и там не до коммитов

на скале есть датасотонизм?

Ну вообще да, но это имеется в виду скала + спарк. Вообще у меня несколько специфичный проект, и там скрытые Марковский модели и все дела.

Спарк нужен, чтобы все это дело масштабировалось и считалось на кластере для больших объемов данных

Как ноулайфер, который 3 месяца ничего не делал и вот начинает опять https://github.com/cristaloleg

Солидно