بسیار عالی

سلام خدمت جناب آقای محتاط
فایل ارائه رو دیدم بابت جمع مطالب بالا در قالب یک فایل و به اشتراک گذاشتنش واقعا سپاسگزارم
تعدادی سوال دارم اگر مقدور هست لطف بفرمایید پاسخ بدید:
1.فرض بفرمایید ما داده ای برای تحلیل داریم، بخشی از اون با کتابخانه های معمولی انجام میشه و بخشی باید با یادگیری ماشین و شبکه عصبی انجام بشه، با توجه به این که کتابخانه های معمولی مثل pandas
امکانات کافی برای کار کردن روی پیش پردازش داده ها در اختیار ما میذارن و خود کتابخانه های یادگیری ماشین و شبکه عصبی مثل keras یا pytorch
توانایی کار با حجم داده ی بالا رو دارن چرا به سمت هدوپ بریم؟ نهایتا داده رو به چند قسمت تقسیم میکنیم یا روی کارت گرافیک توزیع میکنیم و کار انجام میشه دیگه چه نیازی به هدوپ یا پای اسپارک هست؟
2.فرض بفرمایید ما میخوایم یک پایپ لاین کامل از دیتا بیس تا نمایش بصری ایجاد کنیم، خیلی از فریم ورک ها و ابزارها در هماهنگی باهم کار نمیکنن یا هماهنگ کردنشون در عمل خیلی دشواره یا برای سیستم عامل مشکلاتی هست مثلا فرض بفرمایید از mongodb
تا power bi
در این بین نمیشه پایپ لاین اوتوماتیک طراحی کرد چرا که در در سیستم عامل اجرا دچار مشکل خواهیم بود راه حل پیشنهادی چیه؟
3. اگر بخواهیم عملیات یادگیری عمیق روی داده ها انجام بدیم، و بین سیستم ها توزیع کنیم آیا اسپارک یا هدوپ پوشش میدهند؟ منابع مربوط به این موضوع خیلی کم هستن یا به اندازه کافی در مستندات رسمی هم در مورد اجرای فریم ورک های یادگیری عمیق روی پلتفرم های کلان داده بحث نشده این بین خلا به نظر نمیرسه؟ راهکار شما چیه؟
خیلی سپاسگزارم