بازی اسنیک؛ آیا هوش مصنوعی‌ها می‌توانند بازی کردن را بیاموزند؟

اولین قدم برای تعیین داده‌ی ورودی این است که شبکه‌ی نورونی همان اطلاعاتی را داشته باشد که ما داریم. ما بازی را با نگاه به تصویر انجام می‌دهیم و رنگ پیکسل‌هایی که محیط بازی را تشکیل داده می‌بینیم. با این حال، این محتاج شبکه‌ی نورونی‌ای است که بتواند بین همه‌ی قوانین اسنیک، که اول مقاله برشمردیم، ارتباط برقرار کند. یعنی بداند مرز محیط کجاست، اسنیک کجاست، مسیرش کجاست، غذا چیست و چگونه باید به آن برسد. و چون هر یک از اینها پیکسلی است با رنگ متفاوت، داده‌ی ورودی هم باید رنگ همه‌ی این پیکسل‌ها را داشته باشد، که می‌شود صدها یا شاید هزارها ورودی. این به‌هیچ‌وجه غیرممکن نیست — اما مثل پیچاندن لقمه دور است.

طراحی از دیدگاه هوش مصنوعی

تصور کنید اسنیک را با زاویه دید اول شخص انجام می‌دهیم. خودتان را جای اسنیک بگذارید. به جهانی که تصور می‌کنید عمق بدهید و تجسم کنید چگونه برای عدم برخورد با دیوارها به سمت چپ و راست می‌پیچید، و همینطور «دیوارهای» جسم و دم‌تان.

اسنیک اگر زاویه دید اول شخص داشت احتمالا همه‌چیز را شبیه این اسکرین‌سیور ویندوز ۹۵ می‌دید.

برای انجام چنین نسخه‌ای از اسنیک، تنها لازم است دو چیز را بدانید:

۱. مسیر رسیدن به غذا کجاست؟

۲. برای اینکه نمیرم باید در چه جهت‌هایی حرکت کنم؟

همینطور که اشکال شبکه‌ی نورونی بین حرکت و مردن رابطه پیدا می‌کنند [یعنی با آزمون و خطا یاد می‌گیرد در برخورد با چه چیزهایی می‌میرد و بهتر است دفعه‌ی بعدی با آنها برخورد نکند]، قابلیت اجتناب از دیوارهای محیط و برخورد با جسم خود مار در یک قدم حل می‌شود. علاوه بر این، عوض اینکه به شبکه‌ی نورونی بگوییم کجاست و برای رسیدن به غذا باید کجا برود، برای تعریف غذا برای هوش مصنوعی صرفا می‌گوییم «مستقیم برو»، «بپیچ سمت چپ»، «بپیچ سمت راست»، یا «پشت سرت». بنابراین دیگر این شبکه‌ی نورونی نیاز ندارد بفهمد سایز محیطی که در آن است چقدر است، اشیای مختلف در آن محیط چه هستند، و اصلا در چه جهتی دارد می‌رود. وقتی خودتان را جای هوش مصنوعی بگذارید و بر اساس دیدگاه او دست به طراحی بزنید، می‌بینیم مشکل به‌مراتب ساده‌تر شده و هوش مصنوعی هم راحت‌تر آن را حل می‌کند.

دنبال هیاهو نروید، مشکل را حل کنید

متعصبین ممکن است بگویند با صرف نظر از طراحی بخش‌های سخت‌تر یک‌جورهایی تقلب کردیم — به‌شدت مخالفم. وقتی هدف‌تان کار روی یک نوع هوش مصنوعی با کارکردهای کلی است (یعنی هوش مصنوعی‌ای که بتواند کارهای دیگری غیر از اسنیک‌بازی‌کردن انجام دهد) حرف آنها درست است اما ما روی یک فناوری خیلی جزئی کار می‌کنیم و بهتر است همینگونه با آن رفتار شود. تعیین اینکه از هر جز کجا و چگونه استفاده کرد به راه‌حل قابل‌فهم‌تر و سریع‌تری ما را می‌رساند.

آیا می‌شد اسنیک را با روش‌های قانون‌محور حل کرد؟ البته. ما صرفا می‌خواهیم ببینیم آیا تحت شرایط لازم، آن قوانین می‌توانند به‌طور تصادفی شکل بگیرند یا نه.

این چه سر و شکلی به طراحی ما می‌دهد؟ به چیزی شبیه تصویر زیر تبدیل می‌شود:

هر اطلاعاتی که به شبکه‌ی نورونی ارسال و سپس نتیجه‌اش دریافت می‌شود باید بین صفر و یک باشد. برای این هدف، ما تمام داده‌های ورودی را به سوالاتی که جواب‌شان یا «آری» است یا «نه» (درباره‌ی جهت‌های مسیریابی) خلاصه کردیم. مهم است به یاد داشته باشیم شبکه‌ی نورونی هیچ نمی‌داند این اعداد چه معنایی دارند یا حتی دو مجموعه سه‌تایی هستند. هوش مصنوعی تنها برآیند آنها که عدد ۶ است را می‌بیند.

داده های خروجی هم به‌طور مشابهی خلاصه شده‌اند. ما از شبکه‌ی نورونی‌مان می‌پرسیم که سه عدد به ما برگرداند. سپس بالاترین عدد را برداشته و از آن، همانطور که بالاتر نوشته شد، برای جهت‌دهی به اسنیک استفاده می‌کنیم. شبکه‌ی نورونی البته هیچ نمی‌داند این اعداد برای چه هستند یا چگونه بعدا [توسط انسان] قرار است استفاده شوند.

قرار است ورژن‌های متعددی از این شبکه‌ی نورونی را تولید کنیم و بگذاریم هر یک از آنها در حرکت دادن اسنیک در محیط آزاد باشد. آنهایی که بهترین عملکرد را داشته باشند نوعی اتصال بین داده‌های ورودی و خروجی یافته‌اند که توانسته آنها را برای مدت طولانی‌تری زنده نگه دارد. به مرور زمان پارامتر آن اسنیک‌هایی که بالاترین امتیاز را گرفته‌اند دستکاری می‌کنیم — و سرانجام هوش مصنوعی‌ای داریم که می‌تواند بازی اسنیک را انجام دهد.

تعریف عملکرد خوب

این ما را به آخرین مسئله‌ در طراحی می‌رساند: وقتی می‌گوییم «بهترین عملکرد» در اسنیک، یعنی چه؟ در حوزه‌ی یادگیری تقویتی/reinforcement learning به آن کارکرد پاداش/reward function می‌گویند.

قدم اول درست این است که مکانیسم امتیازدهی بازی را بازتولید کرد. بنابراین هرقدر اسنیک بلندتر شود، امتیاز هم بالاتر می‌رود. این به‌خودی‌خود خوب کار می‌کند، اما خیلی وقت‌گیر است چون برای شبکه‌ی نورونی واضح نیست که اگر به سمت غذا قدم بردارد برایش خوب است. حالا سعی می‌کنیم این مشکل را ساده کنیم — پس به ازای هر قدمی که اسنیک به سمت غذا برمی‌دارد ۱ امتیاز به دست می‌آورد و هر گاه به غذا رسید ۱۰ امتیاز دیگر می‌گیرد.

متاسفانه، این شبکه‌ی نورونی در تعریف ما از «عملکرد خوب» یک راه گزیر پیدا کرده و متوجه شده اگر دایره‌وار دور خود بچرخد به امن‌ترین و بهترین شکل می‌تواند امتیاز بگیرد. عدد بالای سمت چپْ امتیاز این شبکه‌ی نورونی است. و غذاْ دایره‌ی سبز است.

به همین سادگی حل شد؟ اشتباه.

همانطور که در چپ تصویر دیده می‌شود، تعریف ما از «عملکرد خوب» به یک راه گریز/loophole برای سیستم تبدیل شد. با دور خود چرخیدن، هوش مصنوعی می‌تواند امتیاز بیشتری بگیرد بدون اینکه با خطر برخورد با دیوار یا دم رو-به-رشدش روبه‌رو شود. کارکردهای پاداشْ درست پیاده‌سازی‌شان سخت ولی خراب‌کردنشان شدیدا راحت است. برای همین است که در بعضی از سناریوها به اپراتور انسانی است تا ماشین را راهنمایی و تعیین کند نتیجه‌ی درست چیست، عوض اینکه برای مشکلی ذهنی بخواهد کارکرد پاداش عینی‌ای تحمیل کند.

خوشبختانه این راه گزیر به سادگی حل می‌شود. می‌توانیم کارکرد پاداش را اینطوری پیاده کنیم که اگر اسنیک قدمی برخلاف مسیر غذا بردارد از امتیازش کسر می‌شود. پس هر قدم به سوی غذا ۱ امتیاز دارد و هر قدم برای دوری از آن ۱.۵ امتیاز منفی. بنابراین اگر اسنیک بخواهد دایره‌وار دور خود بچرخد امتیاز منفی بیشتری می‌گیرد و مجبور است از حاشیه‌ی امن خارج شود.

تکاملی که می‌شود شاهدش بود

سرانجام، باید تصمیم بگیریم سایز هر نسل چقدر است و چگونه هر شبکه‌ی نورونی برای تولید نسل بعدی باید دست به انتخاب بزند. از آنجایی که می‌خواهم هوش مصنوعی برای همه دسترس‌پذیر باشد و مشاهده‌کردنش هم آسان، می‌خواهم برنامه‌ام را طوری بسازم که خیلی راحت روی مرورگرها هم اجرا شود. بنابراین سایز جمعیت اسنیک‌ها را نسبتا کوچک انتخاب می‌کنیم. از آنجا که یک صفحه‌ی شطرنجی ۵ در ۱۱ خیلی خوب روی صفحه‌ی مرورگر من جا می‌گیرد، من ۵۵ اسنیک را انتخاب می‌کنم — و ۶ اسنیک برتر (تقریبا ۱۰ درصد اسنیک‌ها) برای تولید نسل بعدی اسنیک‌ها انتخاب می‌شوند.

هر نسل تا زمانی باقی است که هر ۵۵ اسنیک نمرده باشند یا آنها که باقی مانده‌اند امتیاز منفی نداشته باشند. این باعث می‌شود نسل‌های اولیه عمر کوتاهی داشته باشند، تا بالاخره آنقدر جهش بیایبند که متوجه شوند «اگر چیزی جلویم قرار داد [دم یا دیوار] مرا به سمت دیگری حرکت ده» و آن را به نسل‌های بعدی منتقل کنند.

از آنجایی که این مشکل را ساده‌سازی کردیم و با دقت همه‌چیز را از دیدگاه هوش مصنوعی گذرانیم، خیلی طول نمی‌کشد تا شبکه‌های نورونی آنقدر تکامل بیابند تا به آن «عملکرد خوب»ای که می‌خواهیم برسند. بعد از گذشت دوجین نسل، پیشرفت‌ و عملکرد اسنیک‌ها چشم‌گیر می‌شود. هر نسل البته جهش‌هایی پیدا می‌کند که مفید نیستند، و مثلا اسنیک‌هایی که دور خود تاب می‌خورند امتیاز کم و کمتری می‌گیرند و عملکرد خود را به نسل بعدی منتقل نمی‌کنند اما آنهایی که عملکرد خوبی دارند این دانش را به نسل آینده منتقل کرده و مدام باعث پیشرفتش می‌شوند.

هر نسل، ۵۵ شبکه‌ی نورونی متفاوت دارد. امتیاز هر یک از آنها وابسته به کارکرد پاداشی است که بالاتر شرحش رفت.

بعد از گذشت ۱۰۰ نسل، می‌بینیم استراتژی تکامل‌یافته در واقع محتاج این است که شبکه‌های نورونی هر از گاهی امتیاز از دست بدهند. به‌جای اینکه اسنیک‌ها حالا دنبال سریع‌ترین راه باشند، مسیری خلاف غذا می‌روند تا موقعیت خود را بازتنظیم کرده و مواظب باشند با دم خود برخورد نکنند. اینکه هوش مصنوعی به این نکته پی می‌برد غافلگیرکننده است چون شبکه‌های نورونی‌ای که ساختیم هیچ از سایز محیطی که در آن هستند خبر ندارند و تنها فضای جلوی رویشان را می‌بینند. اینکه چگونه این ویژگی تکامل پیدا کرد جای سوال است و گرچه هر تلاشی برای تکامل مجددْ به نتیجه‌ی متفاوتی می‌رسد، اما سرانجام، در پایان همه‌ی این نسل‌ها، اسنیک‌ها کم و بیش همین رفتار را خودبه‌خود یاد می‌گیرند.

هیاهوی هوش مصنوعی‌ها، تغییرات صنعتی، یا کمپین‌های تبلیغاتی بد از سوی کمپانی‌های بزرگ تکنولوژیک نباید حواس‌تان را پرت کند. روی کار پیش‌رو تمرکز کرده و با جدیت و دقت توضیح دهید می‌خواهید هوش مصنوعی چه کاری برایتان انجام دهد.

هوش مصنوعی برای خیلی از مشکلات ابزار قدرتمندی می‌تواند باشد — اما هنوز هم نیازمند یک طراح انسانی است. طراحان خوب نیز با جدیت به مشکلات پیچیده فکر کرده و خودشان را طولانی‌مدت جای کاربری که قرار است از آن استفاده کند می‌گذارند. طراحی هوش مصنوعی‌ها هم ازاین‌نظر فرقی ندارد.