تیمی از محققان در NetEase، یک شرکت بازی‌سازی چینی، سیستمی ایجاد کرده‌اند که می‌تواند به طور خودکار چهره‌ها را از عکس‌ها استخراج کند و مدل‌های درون بازی را با داده‌های تصویر تولید کند. نتایج مقاله با عنوان "ترجمه چهره به پارامتر برای ایجاد خودکار شخصیت بازی"، به طور خلاصه توسط در Medium منتشر شد.
بازی‌سازان به‌طور روزافزون از هوش مصنوعی به عنوان یک ابزار برای خودکارسازی وظایف زمان‌بر در توسعه بازی‌ها استفاده می‌کنند. به عنوان مثال، توسعه‌دهندگان بازی از الگوریتم‌های هوش مصنوعی برای کمک به تعیین حرکات کاراکترها و اشیا در بازی استفاده می‌کنند. یکی از کاربردهای اخیر هوش مصنوعی در توسعه بازی، ایجاد ابزارهای سفارشی‌سازی برای ایجاد شخصیت‌های قدرتمندتر است.
تیم تحقیقاتی NetEase با ایجاد سیستمی که به صورت خودکار چهره‌ها را از عکس‌ها استخراج کرده و مدل‌های درون بازی از این چهره‌ها ایجاد می‌کند، به بازیکنان این امکان را می‌دهد تا شخصیت‌های خود را به راحتی و با دقت بیشتری شخصی‌سازی کنند.
سیستم ایجاد شخصیت خودکار اینگونه عمل می‌کند: ابتدا، از یک سیستم یادگیری ترجمه پارامترهای ویژگی‌های چهره استفاده می‌شود که اطلاعات مربوط به ویژگی‌های چهره از تصویر ورودی را استخراج می‌کند. سپس این پارامترها توسط یک مدل یادگیری تقلیدی به صورت تکراری استفاده می‌شوند تا چهره ورودی با دقت بیشتری را ایجاد و بهبود دهد.
این ابزار می‌تواند به بازیکنان امکان سفارشی‌سازی شخصیت‌های بازی خود را با استفاده از تصاویر شخصی خود فراهم کند، این نیز نشان‌دهنده تلاش‌های به‌کارگیری هوش مصنوعی در جهت ساده‌تر و دقیق‌تر نمودن فرآیند‌های بازی‌سازی است.
سیستم یادگیری تقلید مجهز به یک معماری است که عملکردی شبیه به یک موتور بازی دارد و مدل‌های شخصیت را با یک سبک ثابت ایجاد می‌کند. این مدل تقلیدی برای استخراج ویژگی‌های چهره با در نظر گرفتن جزئیات پیچیده مانند ریش، رژ لب، ابرو و مدل مو طراحی شده است. پارامترهای چهره از طریق فرآیند نزول گرادیان در مقایسه با ورودی به‌روز می‌شوند. این فرآیند شامل مداوم بررسی تفاوت بین ویژگی‌های ورودی و مدل تولید شده است و تغییراتی در مدل اعمال می‌شود تا زمانی که مدل درون بازی با ویژگی‌های ورودی هماهنگ شود.
بعد از آموزش شبکه تقلید، سیستم ترجمه پارامتر، خروجی‌های شبکه تقلید را در مقابل ویژگی‌های تصویر ورودی بررسی می‌کند و تصمیم می‌گیرد در مورد فضای ویژگی که امکان محاسبه پارامترهای چهره بهینه را فراهم می‌کند، چگونه عمل کند.
بزرگترین چالش در اینجا این بوده که مطمئن شویم مدل‌های شخصیت‌های سه‌بعدی قادر به حفظ جزئیات و ظاهر بر اساس عکسهای انسان واقعی باشند. این یک چالش برخاسته از مسئلهٔ بین‌دامنه است، زیرا تصاویر تولید شده سه بعدی و تصاویر دو بعدی افراد واقعی باید با هم مقایسه شوند و ویژگی‌های اصلی هر دو باید یکسان باشند.
محققان این چالش را با دو تکنیک مختلف حل کردند. اولین تکنیک، آموزش مدل را به دو وظیفه یادگیری مختلف تقسیم کرد: یک کار مربوط به محتوای چهره و یک کار تمایز. در این روش، شکل و ساختار کلی صورت یک فرد با کاهش تفاوت/از دست دادن بین دو ارزش ظاهری کلی تشخیص داده می‌شود. در عین حال، جزئیات متمایز/ظریف با کاهش افت بین چیزهایی مانند سایه‌ها در یک منطقه کوچک پر می‌شود. این دو کار مختلف در نهایت با هم ادغام می‌شوند تا به یک نمایش کامل دست یابند.
تکنیک دوم برای تولید مدل‌های سه‌بعدی از یک سیستم ساخت چهره سه‌بعدی استفاده کرد که از ساختار اسکلتی شبیه‌سازی‌شده با در نظر گرفتن شکل استخوان استفاده می‌کرد. این امکان را به محققان می‌داد تا نسبت به سایر سیستم‌های مدل‌سازی سه‌بعدی که بر شبکه‌ها یا شبکه‌های چهره تکیه دارند، تصاویر سه‌بعدی پیچیده‌تر و دقیق‌تری ایجاد کنند.
ایجاد یک سیستم که مدل‌های سه‌بعدی واقع‌گرایانه را از تصاویر دوبعدی ایجاد کند، به نوع خود یک پیشرفت قابل توجه محسوب می‌شود. این سیستم نه تنها بر روی عکسهای دوبعدی عمل نمی‌کند، بلکه قادر است طرح‌ها و کاریکاتورهای چهره‌ها را نیز تشخیص داده و آنها را به صورت مدل‌های سه‌بعدی با دقت بالا ارائه دهد. این توانایی نشان‌دهنده این است که سیستم می‌تواند به طور شگفت‌آوری مفاهیم عمیق‌تری از چهره‌ها را درک کرده و تبدیل به مدل‌های سه‌بعدی کند.
تیم تحقیقاتی معتقد است که این سیستم نه تنها می‌تواند مدل‌های دقیقی بر اساس کاراکترهای دوبعدی ایجاد کند، بلکه همچنین به عنوان یک ابزار تکمیلی برای کاربران عمل کند. این به کاربران این امکان را می‌دهد که مدل تولید شده را بر اساس ترجیحات و ویرایش‌های خود ویرایش کنند.