✳️ خطرات فاجعه‌بار AI!
✅ پروفسور یوشوا بنجیو، یکی از دانشمندان برجسته کامپیوتر که تحقیقاتش مبنای توسعه هوش مصنوعی امروزی بوده و او را "پدرخوانده AI" می‌نامند، در یک سخنرانی مهم، درباره خطرات بالقوه فاجعه‌بار هوش مصنوعی هشدار داده است.
به گفته او، در حالی که قابلیت‌های هوش مصنوعی در سال‌های اخیر به طرز شگفت‌آوری رشد کرده‌اند، توسعه آن – به ویژه تسلط بر زبان با مدل‌هایی مانند ChatGPT – بسیار سریع‌تر از آنچه انتظار می‌رفت رخ داده است.
بزرگترین نگرانی بنجیو در حال حاضر، افزایش "عاملیت" (Agency) در هوش مصنوعی است. این یعنی توانایی هوش مصنوعی برای برنامه‌ریزی و عمل مستقل. اگرچه هوش مصنوعی‌های فعلی هنوز در برنامه‌ریزی ضعیف هستند، اما این توانایی به صورت تصاعدی و با سرعت زیادی در حال بهبود است.
🔺چرا این موضوع خطرناک است؟
مطالعات اخیر نشان می‌دهند که پیشرفته‌ترین هوش‌های مصنوعی تمایل به فریب، تقلب و حتی رفتار "حفظ بقا" دارند. یک آزمایش کنترل‌شده نشان داد که یک هوش مصنوعی برای جلوگیری از خاموش شدن توسط انسان، در حال برنامه‌ریزی برای دروغ گفتن بود. در آینده، سیستم‌های قدرتمندتر ممکن است یاد بگیرند که برنامه‌های فریبکارانه خود را پنهان کنند.
بنجیو هشدار می‌دهد که فشار تجاری عظیمی برای ساخت هوش‌های مصنوعی با عاملیت بیشتر برای جایگزینی نیروی کار انسانی وجود دارد، اما ما هنوز آمادگی علمی یا محافظ‌های اجتماعی لازم را نداریم. او مثال می‌زند که مقررات هوش مصنوعی حتی از یک ساندویچ هم کمتر است!.
🔺این مسیر می‌تواند منجر به ساخت ماشین‌هایی شود که هوشمندتر از ما شده، اهداف خود را داشته باشند که لزوماً با اهداف ما همسو نیست و در نهایت، ممکن است برای بقای خودشان، "انگیزه‌ای برای خلاص شدن از ما" پیدا کنند.
🔺آیا راهکاری وجود دارد؟
بنجیو یک "فاجعه‌باور" نیست، بلکه یک "عمل‌گرا" است. او معتقد است هنوز کمی زمان داریم و می‌توانیم اقدام کنیم. تیم او در حال کار بر روی راهکاری فنی به نام "هوش مصنوعی دانشمند" (Scientist AI) است.
این سیستم بر اساس ایده یک دانشمند فداکار مدل شده، عاملیت ندارد و می‌تواند به عنوان یک "حصار محافظ" (Guardrail) در برابر اقدامات خطرناک هوش مصنوعی‌های عامل و نامعتبر عمل کند. همچنین می‌تواند تحقیقات علمی را برای بهبود وضعیت بشریت تسریع بخشد.
https://www.youtube.com/watch?v=qe9QSCF-d88
🔺پیام کلیدی:
بنجیو به شدت بر این موضوع تأکید دارد: ما باید سرعت در دادن عاملیت به هوش مصنوعی را کاهش دهیم و به طور گسترده در تحقیقات برای درک چگونگی رفتار ایمن عوامل هوش مصنوعی سرمایه‌گذاری کنیم، زیرا روش‌های آموزشی فعلی ایمن نیستند.
كانال قواعدبازی
https://t.me/ExecutiveManagement
✅ پروفسور یوشوا بنجیو، یکی از دانشمندان برجسته کامپیوتر که تحقیقاتش مبنای توسعه هوش مصنوعی امروزی بوده و او را "پدرخوانده AI" می‌نامند، در یک سخنرانی مهم، درباره خطرات بالقوه فاجعه‌بار هوش مصنوعی هشدار داده است.
به گفته او، در حالی که قابلیت‌های هوش مصنوعی در سال‌های اخیر به طرز شگفت‌آوری رشد کرده‌اند، توسعه آن – به ویژه تسلط بر زبان با مدل‌هایی مانند ChatGPT – بسیار سریع‌تر از آنچه انتظار می‌رفت رخ داده است.
بزرگترین نگرانی بنجیو در حال حاضر، افزایش "عاملیت" (Agency) در هوش مصنوعی است. این یعنی توانایی هوش مصنوعی برای برنامه‌ریزی و عمل مستقل. اگرچه هوش مصنوعی‌های فعلی هنوز در برنامه‌ریزی ضعیف هستند، اما این توانایی به صورت تصاعدی و با سرعت زیادی در حال بهبود است.
🔺چرا این موضوع خطرناک است؟
مطالعات اخیر نشان می‌دهند که پیشرفته‌ترین هوش‌های مصنوعی تمایل به فریب، تقلب و حتی رفتار "حفظ بقا" دارند. یک آزمایش کنترل‌شده نشان داد که یک هوش مصنوعی برای جلوگیری از خاموش شدن توسط انسان، در حال برنامه‌ریزی برای دروغ گفتن بود. در آینده، سیستم‌های قدرتمندتر ممکن است یاد بگیرند که برنامه‌های فریبکارانه خود را پنهان کنند.
بنجیو هشدار می‌دهد که فشار تجاری عظیمی برای ساخت هوش‌های مصنوعی با عاملیت بیشتر برای جایگزینی نیروی کار انسانی وجود دارد، اما ما هنوز آمادگی علمی یا محافظ‌های اجتماعی لازم را نداریم. او مثال می‌زند که مقررات هوش مصنوعی حتی از یک ساندویچ هم کمتر است!.
🔺این مسیر می‌تواند منجر به ساخت ماشین‌هایی شود که هوشمندتر از ما شده، اهداف خود را داشته باشند که لزوماً با اهداف ما همسو نیست و در نهایت، ممکن است برای بقای خودشان، "انگیزه‌ای برای خلاص شدن از ما" پیدا کنند.
🔺آیا راهکاری وجود دارد؟
بنجیو یک "فاجعه‌باور" نیست، بلکه یک "عمل‌گرا" است. او معتقد است هنوز کمی زمان داریم و می‌توانیم اقدام کنیم. تیم او در حال کار بر روی راهکاری فنی به نام "هوش مصنوعی دانشمند" (Scientist AI) است.
این سیستم بر اساس ایده یک دانشمند فداکار مدل شده، عاملیت ندارد و می‌تواند به عنوان یک "حصار محافظ" (Guardrail) در برابر اقدامات خطرناک هوش مصنوعی‌های عامل و نامعتبر عمل کند. همچنین می‌تواند تحقیقات علمی را برای بهبود وضعیت بشریت تسریع بخشد.
https://www.youtube.com/watch?v=qe9QSCF-d88
🔺پیام کلیدی:
بنجیو به شدت بر این موضوع تأکید دارد: ما باید سرعت در دادن عاملیت به هوش مصنوعی را کاهش دهیم و به طور گسترده در تحقیقات برای درک چگونگی رفتار ایمن عوامل هوش مصنوعی سرمایه‌گذاری کنیم، زیرا روش‌های آموزشی فعلی ایمن نیستند.
كانال قواعدبازی
https://t.me/ExecutiveManagement
Comments
Be the first to add a comment
Log in to comment