🧠پشت پرده هوش مصنوعی: داریم قانون‌هایش را کشف می‌کنیم؟
مقاله‌ای با عنوان
There Will Be a Scientific Theory of Deep Learning
از اون دست کارهاست که بیشتر از اینکه فقط یک مقاله پژوهشی باشه، یک جور «نقشه راه فکری» برای آینده یادگیری عمیقه. ایده‌ی اصلی‌اش هم خیلی ساده ولی عمیقه: نویسنده‌ها می‌گن شاید وقتش رسیده یادگیری عمیق رو از یک حوزه‌ی صرفاً تجربی و مهندسی، تبدیل کنیم به یک علم واقعی؛ چیزی شبیه فیزیک، که بتونه رفتار سیستم رو نه فقط توضیح بده، بلکه پیش‌بینی هم بکنه.
اون‌ها برای این آینده‌ی احتمالی یک اسم هم پیشنهاد می‌کنن: “Learning Mechanics”. یعنی مکانیکِ یادگیری. منظورشون اینه که همون‌طور که فیزیک حرکت اجسام یا رفتار گازها رو با چند قانون کلی توضیح می‌ده بدون اینکه تک‌تک ذرات رو دنبال کنه، ما هم شاید بتونیم رفتار شبکه‌های عصبی رو با یک‌سری قوانین کلی و قابل اتکا بفهمیم، بدون اینکه مجبور باشیم وارد جزئیات بی‌نهایت وزن‌ها و نورون‌ها بشیم.
نکته‌ی مهمی که مقاله روش تأکید می‌کنه اینه که الان ما در یادگیری عمیق «داده، مدل، تابع هزینه و الگوریتم آموزش» رو کامل می‌شناسیم، ولی با این حال هنوز یک مشکل اساسی داریم: نمی‌تونیم قبل از آموزش یک مدل، دقیق پیش‌بینی کنیم چه رفتاری خواهد داشت. یعنی هنوز داریم تا حد زیادی با آزمون و خطا جلو می‌ریم. این مقاله می‌گه مشکل، نبود شفافیت نیست؛ مشکل اینه که سیستم از تعداد خیلی زیادی اجزای ساده تشکیل شده که با هم تعامل پیچیده دارن و همین تعامل‌ها رفتار کلی رو غیرقابل پیش‌بینی می‌کنه.
برای همین، نویسنده‌ها معتقدن باید دنبال «قوانین در سطح کلان» باشیم، نه فقط جزئیات ریز. و جالب اینجاست که می‌گن این مسیر از قبل شروع شده و الان چند شاخه‌ی تحقیقاتی دارن کم‌کم قطعات این نظریه رو می‌سازن.
اولین بخش، مدل‌های خیلی ساده و قابل حل هستن؛ مثلاً شبکه‌های خطی یا سیستم‌های کوچک که می‌شه دقیق ریاضی‌وار تحلیلشون کرد. این‌ها مثل آزمایشگاه‌های ساده‌سازی‌شده‌ان که کمک می‌کنن بفهمیم اصل یادگیری چطور کار می‌کنه.
دومین مسیر، بررسی «حدهای افراطی»ه؛ مثلاً وقتی شبکه‌ها خیلی عریض می‌شن یا به حد بی‌نهایت نزدیک می‌شن. در این حالت‌ها، سیستم‌ها ناگهان قابل تحلیل ریاضی می‌شن و می‌شه رفتار کلی‌شون رو فهمید، چیزی که در حالت عادی خیلی سخت یا غیرممکنه.
مسیر سوم مربوط به «قوانین ساده‌ی آماری»ه؛ چیزهایی مثل scaling laws که نشون می‌ده عملکرد مدل‌ها چطور با افزایش داده، مدل یا محاسبات تغییر می‌کنه. یا مثلاً رابطه‌ی بین «sharpness» و توانایی تعمیم مدل. این‌ها اولین نشانه‌های یک نظریه‌ی واقعی هستن، چون دارن الگوهای تکرارشونده رو در مقیاس بزرگ توصیف می‌کنن.
مسیر چهارم هم درباره‌ی هایپرپارامترهاست. مقاله می‌گه خیلی از چیزی که ما به عنوان «تنظیمات تجربی» می‌شناسیم (مثل learning rate یا batch size)، در واقع می‌شه به شکل جداگانه و سیستماتیک تحلیلش کرد. هدف اینه که اثر این عوامل از خود پدیده‌ی یادگیری جدا بشه تا سیستم ساده‌تر و قابل فهم‌تر بشه.
و مسیر پنجم، شاید مهم‌ترین بخش باشه: وجود «رفتارهای مشترک یا جهانی» در مدل‌های مختلف. یعنی با اینکه شبکه‌ها، داده‌ها و معماری‌ها فرق دارن، باز یک‌سری الگوهای مشابه در نحوه‌ی آموزش، رشد نمایندگی‌ها و حتی رفتار نهایی دیده می‌شه. این شباهت‌ها اگر درست فهمیده بشن، می‌تونن پایه‌ی یک نظریه‌ی واحد باشن.
نکته‌ی خیلی جالب مقاله اینه که می‌گه این مسیر جدید، فقط یک شاخه نیست، بلکه ترکیب چند نگاهه. از یک طرف تفسیرپذیری مکانیزمی (mechanistic interpretability) رو داریم که بیشتر شبیه زیست‌شناسیه؛ یعنی نگاه کردن به اجزای داخلی و اینکه هر بخش چه کاری می‌کنه. از طرف دیگه، این “Learning Mechanics” بیشتر شبیه فیزیکه؛ یعنی به جای اجزا، دنبال قوانین کلی حرکت سیستمه. این دو تا در کنار هم می‌تونن تصویر کامل‌تری بسازن.
جمع‌بندی مقاله در واقع یک ادعای مهمه: شاید وقتش رسیده یادگیری عمیق رو نه به عنوان یک ابزار مهندسی تجربی، بلکه به عنوان یک پدیده‌ی قابل قانون‌گذاری علمی ببینیم. درست مثل ترمودینامیک که بدون دنبال کردن تک‌تک مولکول‌ها، رفتار گازها رو توضیح می‌ده، اینجا هم ممکنه روزی برسیم به قوانینی که بدون نگاه کردن به تمام وزن‌ها و پارامترها، رفتار آموزش و تعمیم شبکه‌های عصبی رو پیش‌بینی کنن.
#رضا_جعفری
🔗 لینک مقاله There Will Be a Scientific Theory of Deep Learning
🤖Ellinne
مقاله‌ای با عنوان
There Will Be a Scientific Theory of Deep Learning
از اون دست کارهاست که بیشتر از اینکه فقط یک مقاله پژوهشی باشه، یک جور «نقشه راه فکری» برای آینده یادگیری عمیقه. ایده‌ی اصلی‌اش هم خیلی ساده ولی عمیقه: نویسنده‌ها می‌گن شاید وقتش رسیده یادگیری عمیق رو از یک حوزه‌ی صرفاً تجربی و مهندسی، تبدیل کنیم به یک علم واقعی؛ چیزی شبیه فیزیک، که بتونه رفتار سیستم رو نه فقط توضیح بده، بلکه پیش‌بینی هم بکنه.
اون‌ها برای این آینده‌ی احتمالی یک اسم هم پیشنهاد می‌کنن: “Learning Mechanics”. یعنی مکانیکِ یادگیری. منظورشون اینه که همون‌طور که فیزیک حرکت اجسام یا رفتار گازها رو با چند قانون کلی توضیح می‌ده بدون اینکه تک‌تک ذرات رو دنبال کنه، ما هم شاید بتونیم رفتار شبکه‌های عصبی رو با یک‌سری قوانین کلی و قابل اتکا بفهمیم، بدون اینکه مجبور باشیم وارد جزئیات بی‌نهایت وزن‌ها و نورون‌ها بشیم.
نکته‌ی مهمی که مقاله روش تأکید می‌کنه اینه که الان ما در یادگیری عمیق «داده، مدل، تابع هزینه و الگوریتم آموزش» رو کامل می‌شناسیم، ولی با این حال هنوز یک مشکل اساسی داریم: نمی‌تونیم قبل از آموزش یک مدل، دقیق پیش‌بینی کنیم چه رفتاری خواهد داشت. یعنی هنوز داریم تا حد زیادی با آزمون و خطا جلو می‌ریم. این مقاله می‌گه مشکل، نبود شفافیت نیست؛ مشکل اینه که سیستم از تعداد خیلی زیادی اجزای ساده تشکیل شده که با هم تعامل پیچیده دارن و همین تعامل‌ها رفتار کلی رو غیرقابل پیش‌بینی می‌کنه.
برای همین، نویسنده‌ها معتقدن باید دنبال «قوانین در سطح کلان» باشیم، نه فقط جزئیات ریز. و جالب اینجاست که می‌گن این مسیر از قبل شروع شده و الان چند شاخه‌ی تحقیقاتی دارن کم‌کم قطعات این نظریه رو می‌سازن.
اولین بخش، مدل‌های خیلی ساده و قابل حل هستن؛ مثلاً شبکه‌های خطی یا سیستم‌های کوچک که می‌شه دقیق ریاضی‌وار تحلیلشون کرد. این‌ها مثل آزمایشگاه‌های ساده‌سازی‌شده‌ان که کمک می‌کنن بفهمیم اصل یادگیری چطور کار می‌کنه.
دومین مسیر، بررسی «حدهای افراطی»ه؛ مثلاً وقتی شبکه‌ها خیلی عریض می‌شن یا به حد بی‌نهایت نزدیک می‌شن. در این حالت‌ها، سیستم‌ها ناگهان قابل تحلیل ریاضی می‌شن و می‌شه رفتار کلی‌شون رو فهمید، چیزی که در حالت عادی خیلی سخت یا غیرممکنه.
مسیر سوم مربوط به «قوانین ساده‌ی آماری»ه؛ چیزهایی مثل scaling laws که نشون می‌ده عملکرد مدل‌ها چطور با افزایش داده، مدل یا محاسبات تغییر می‌کنه. یا مثلاً رابطه‌ی بین «sharpness» و توانایی تعمیم مدل. این‌ها اولین نشانه‌های یک نظریه‌ی واقعی هستن، چون دارن الگوهای تکرارشونده رو در مقیاس بزرگ توصیف می‌کنن.
مسیر چهارم هم درباره‌ی هایپرپارامترهاست. مقاله می‌گه خیلی از چیزی که ما به عنوان «تنظیمات تجربی» می‌شناسیم (مثل learning rate یا batch size)، در واقع می‌شه به شکل جداگانه و سیستماتیک تحلیلش کرد. هدف اینه که اثر این عوامل از خود پدیده‌ی یادگیری جدا بشه تا سیستم ساده‌تر و قابل فهم‌تر بشه.
و مسیر پنجم، شاید مهم‌ترین بخش باشه: وجود «رفتارهای مشترک یا جهانی» در مدل‌های مختلف. یعنی با اینکه شبکه‌ها، داده‌ها و معماری‌ها فرق دارن، باز یک‌سری الگوهای مشابه در نحوه‌ی آموزش، رشد نمایندگی‌ها و حتی رفتار نهایی دیده می‌شه. این شباهت‌ها اگر درست فهمیده بشن، می‌تونن پایه‌ی یک نظریه‌ی واحد باشن.
نکته‌ی خیلی جالب مقاله اینه که می‌گه این مسیر جدید، فقط یک شاخه نیست، بلکه ترکیب چند نگاهه. از یک طرف تفسیرپذیری مکانیزمی (mechanistic interpretability) رو داریم که بیشتر شبیه زیست‌شناسیه؛ یعنی نگاه کردن به اجزای داخلی و اینکه هر بخش چه کاری می‌کنه. از طرف دیگه، این “Learning Mechanics” بیشتر شبیه فیزیکه؛ یعنی به جای اجزا، دنبال قوانین کلی حرکت سیستمه. این دو تا در کنار هم می‌تونن تصویر کامل‌تری بسازن.
جمع‌بندی مقاله در واقع یک ادعای مهمه: شاید وقتش رسیده یادگیری عمیق رو نه به عنوان یک ابزار مهندسی تجربی، بلکه به عنوان یک پدیده‌ی قابل قانون‌گذاری علمی ببینیم. درست مثل ترمودینامیک که بدون دنبال کردن تک‌تک مولکول‌ها، رفتار گازها رو توضیح می‌ده، اینجا هم ممکنه روزی برسیم به قوانینی که بدون نگاه کردن به تمام وزن‌ها و پارامترها، رفتار آموزش و تعمیم شبکه‌های عصبی رو پیش‌بینی کنن.
#رضا_جعفری
🔗 لینک مقاله There Will Be a Scientific Theory of Deep Learning
🤖Ellinne
Comments
Be the first to add a comment
Log in to comment