هوش مصنوعی در حال حاضر پیشرفت‌های بسیار چشمگیری را به دست آورده است و در زمینه‌های مختلف مانند پزشکی، آموزش، امور مالی، هنر و ورزش تغییرات زیادی را به وجود آورده است. این پیشرفت‌ها اصلًا ناشی از توانایی بهبود یافته هوش مصنوعی در یادگیری از مجموعه‌های بزرگتر اطلاعات و ساخت مدل‌های پیچیده‌تر با میلیاردها پارامتر است. این پیشرفت‌ها باعث ایجاد کشف‌های علمی قابل توجه، فرصت‌های تجاری جدید و رشد صنعتی شده است، اما باید توجه داشت که هزینه‌های بالایی نیز دارد، به‌ویژه با توجه به تأثیرات مالی و زیست‌محیطی آموزش این مدل‌های بزرگ.
تا به حال، تلاش‌های انجام شده برای پایدار کردن هوش مصنوعی مولد بیشتر بر توسعه سخت‌افزارهای بهبود یافته برای آموزش هوش مصنوعی و توسعه مدل‌های کوچکتر با پارامترهای کمتر تمرکز داشته است. اما شرکت Google DeepMind با رویکردی نوآورانه بهبود کارایی الگوریتم آموزش هوش مصنوعی مولد را مورد بررسی قرار داده است. آنها الگوریتم جدیدی به نام JEST (انتخاب مثال مشترک) را معرفی کرده‌اند که سرعت آن 13 برابر بیشتر از روش‌های فعلی است و ده برابر بیشتر از آنها انرژی مصرف می‌کند.
در این مقاله، چالش‌های آموزش هوش مصنوعی و نحوه برخورد الگوریتم JEST با این چالش‌ها مورد بررسی قرار می‌گیرد. علاوه بر این، ما مفاهیم گسترده‌تر و جهت‌گیری‌های تحقیقاتی آینده را برای الگوریتم JEST در نظر می‌گیریم و تأثیر بالقوه آن را فراتر از افزایش سرعت، بهبود کارایی و سازگاری با محیط زیست در آموزش هوش مصنوعی مورد بررسی قرار می‌دهیم.
چالش های آموزش هوش مصنوعی با هزینه های بالا
آموزش مدل‌های هوش مصنوعی مولد به دلیل هزینه‌های بالا و تأثیرات زیست محیطی قابل توجه، چالش‌های مهمی را دارد.
اولاً، هزینه‌های مالی این آموزش‌ها بسیار بالاست. برای مثال، آموزش یک مدل بزرگ مانند GPT-3 از OpenAI که دارای 175 میلیارد پارامتر است، تقریباً 4.6 میلیون دلار هزینه دارد. برآورد می‌شود که آموزش ChatGPT-4 برای OpenAI حدود 100 میلیون دلار هزینه داشته باشد. این هزینه‌ها به‌خصوص به دلیل نیاز به منابع محاسباتی بزرگ، پردازش گسترده داده‌ها و طولانی بودن زمان آموزش، بسیار بالاست.
ثانیاً، مصرف انرژی در فرآیند آموزش هوش مصنوعی مولد بسیار زیاد است. آموزش این مدل‌ها نیازمند استفاده از هزاران پردازنده گرافیکی و مصرف چندین گیگاوات ساعت انرژی است. مراکز داده که برای آموزش هوش مصنوعی زیرساخت محاسباتی را فراهم می‌کنند، سالانه حدود 200 تراوات ساعت برق مصرف می‌کنند که تقریباً 1 درصد از تقاضای جهانی برق را تشکیل می‌دهد. گزارش McKinsey پیش‌بینی می‌کند که مصرف برق مراکز داده در ایالات متحده از 17 گیگاوات در سال 2017 به 35 گیگاوات تا سال 2030 افزایش خواهد یافت که نیاز به خروجی معادل 9 سد هوور برای تأمین این تقاضای اضافی دارد.
سوماً، مصرف بالای انرژی در آموزش مدل‌های هوش مصنوعی مولد موجب انتشار گازهای گلخانه‌ای و تشدید تغییرات آب و هوا می‌شود. یک مطالعه انجام شده توسط دانشگاه ماساچوست آمهرست نشان داد که آموزش یک مدل هوش مصنوعی بزرگ ممکن است معادل انتشار دی‌اکسید کربن پنج خودرو در طول عمر آن باشد. به‌طور خاص، آموزش یک مدل هوش مصنوعی می‌تواند بیش از 626,000 پوند CO2 منتشر کند که معادل ردپای کربن 315 پرواز فرا آبه زبان ساده و قابل فهم:
آموزش مدل‌های هوش مصنوعی مولد به دلیل هزینه‌های بالا و تأثیرات زیست محیطی قابل توجه، چالش‌های مهمی را دارد.
اولاً، هزینه‌های مالی آموزش این مدل‌ها بسیار زیاد است. برای مثال، آموزش مدل GPT-3 از شرکت OpenAI با 175 میلیارد پارامتر، تقریباً 4.6 میلیون دلار هزینه دارد. برآورد می‌شود که آموزش مدل ChatGPT-4 حدود 100 میلیون دلار هزینه داشته باشد. عمده این هزینه‌ها به دلیل نیاز به منابع محاسباتی بزرگ، پردازش گسترده داده‌ها و طولانی بودن زمان آموزش است.
ثانیاً، مصرف انرژی در آموزش مدل‌های هوش مصنوعی بسیار زیاد است. آموزش این مدل‌ها نیازمند استفاده از هزاران پردازنده گرافیکی و مصرف چندین گیگاوات ساعت انرژی است. مراکز داده‌ای که برای آموزش هوش مصنوعی زیرساخت محاسباتی را فراهم می‌کنند، سالانه حدود 200 تراوات ساعت برق مصرف می‌کنند که تقریباً 1 درصد از تقاضای جهانی برق را تشکیل می‌دهد. گزارش‌ها نشان می‌دهند که مصرف برق مراکز داده در ایالات متحده از 17 گیگاوات در سال 2017 به 35 گیگاوات تا سال 2030 افزایش خواهد یافت که نیاز به تأمین انرژی معادل 9 سد برق بزرگ برای پاسخگویی به این تقاضای اضافی دارد.
سوماً، مصرف بالای انرژی در آموزش مدل‌های هوش مصنوعی مولد باعث انتشار گازهای گلخانه‌ای و تشدید تغییرات آب و هوا می‌شود. مطالعات نشان می‌دهند که آموزش یک مدل هوش مصنوعی بزرگ می‌تواند معادل انتشار دی‌اکسید کربن پنج خودرو در طول عمر آن باشد. به‌طور خاص، آموزش یک مدل هوش مصنوعی می‌تواند بیش از 626,000 پوند CO2 منتشر کند که معادل ردپای کربن 315 پرواز فرا آمریکایی است.
این چالش‌ها در درجه اول از دو منبع اصلی ناشی می‌شوند: تکیه بر سخت‌افزار محاسباتی پر انرژی و ناکارآمدی الگوریتم‌های آموزشی فعلی. در حالی که جامعه هوش مصنوعی گام‌هایی در توسعه سخت‌افزارهای کم مصرف برداشته است، باید بیشتر به تولید الگوریتم‌های هوشمندتر تمرکز کنیم که می‌توانند استفاده از داده‌ها را بهینه کنند و زمان آموزش را کاهش دهند. الگوریتم JEST که به تازگی معرفی شده است، تحقیقاتی پیشگام در جهت هوشمندتر شدن الگوریتم‌های آموزشی است. با انتخاب هوشمندانه داده‌های مهم، JEST کارایی آموزش هوش مصنوعی را به طور قابل توجهی افزایش می‌دهد و راه‌هایی را برای آموزش پایدارتر و مقرون به صرفه‌تر مدل‌های هوش مصنوعی مولد هموار می‌سازد.
آشنایی با الگوریتم JEST
JEST، یک الگوریتم یادگیری است که برای بهبود آموزش مدل‌های هوش مصنوعی مولد چندوجهی طراحی شده است. برای درک عملکرد JEST، می‌توانید آموزش هوش مصنوعی را مثل حل یک پازل پیچیده تصور کنید، جایی که هر قطعه (نقطه داده) به تشکیل تصویر کامل (مدل هوش مصنوعی) کمک می‌کند. JEST مشابه یک حل‌کننده حرفه‌ای پازل عمل می‌کند و فرآیند را بهبود می‌بخشد. همانند یک حل‌کننده پازل که بخش‌های مهم و متمایز را انتخاب می‌کند، JEST دسته‌های ارزشمند داده را از مجموعه داده شناسایی و انتخاب می‌کند و اطمینان حاصل می‌کند که هر دسته نقش مهمی در توسعه هوش مصنوعی دارد.
JEST از یک مدل هوش مصنوعی کوچکتر برای ارزیابی کیفیت دسته‌های داده استفاده می‌کند. سپس این دسته‌ها بر اساس اثربخشی آنها در آموزش مدل رتبه‌بندی می‌شوند. با استفاده از این دسته‌های دقیقاً انتخاب شده، JEST آنها را به صورت استراتژیک در آموزش مدل می‌بندد. همانند یک حل‌کننده پازل که قطعات پازل را برای حداکثر کردن کارایی و انسجام مرتب می‌کند، JEST با اولویت‌بندی و انتخاب دسته‌های یادگیرنده‌تر، روند آموزش را به طور قابل توجهی سریعتر می‌کند.
بخش کلیدی رویکرد JEST، یادگیری متضاد چندوجهی است. این تکنیک بر تطبیق انواع مختلف داده مانند متن و تصویر تمرکز دارد. JEST از یک روش مبتنی بر یادگیری متضاد چندوجهی برای ارزیابی تأثیربخشی یک نمونه داده چندوجهی در آموزش مدل استفاده می‌کند. به علاوه از امکان یادگیری جمعی نمونه‌های داده برای انتخاب یک دسته کوچک از داده‌ها از یک "سوپر دسته" بزرگتر نیز استفاده می‌شود. این فرآیند به JEST کمک می‌کند تا دسته‌هایی که چالش‌هاو فرصت‌های یادگیری غنی را ارائه می‌دهند، را انتخاب و اولویت‌بندی کند.
آموزش هوش مصنوعی سبزتر ، سریعتر و ارزانتر
در حال بررسی مفاهیم آینده JEST (انتخاب نمونه مشترک)، می‌توانیم ببینیم که مشارکت در آن بیش از ارتقای سرعت آموزش هوش مصنوعی، کاهش هزینه‌ها و بهبود پایداری زیست محیطی است. در ادامه به بررسی این می‌پردازیم که چگونه JEST می‌تواند به بهبود و تحول حوزه هوش مصنوعی کمک کند:
1. بهبود عملکرد و دقت مدل پیشرفته: رویکرد نوآورانه JEST با انتخاب و اولویت‌بندی داده‌ها، منجر به آموزش سریعتر و بهبود عملکرد مدل می‌شود. با تمرکز بر دسته‌های آموزنده‌تر داده، JEST تضمین می‌کند که مدل‌های هوش مصنوعی بر روی ورودی‌های با کیفیت بالا آموزش دیده‌اند و دقت و استحکام آنها را افزایش می‌دهد. این مزیت در کاربردهایی که دقت و قابلیت اعتماد بسیار مهم است، مانند تشخیص پزشکی، پیش‌بینی مالی و سیستم‌های مستقل، بسیار حائز اهمیت است.
2. شناسایی و کاهش تعصب در داده‌ها: هوش مصنوعی می‌تواند به داده‌های تبعیض‌آمیز حساس باشد که در آن گروه‌ها یا دیدگاه‌های خاصی کمتر نمایش داده شده یا به طور نادرست نمایش داده شوند. رویکرد انتخاب داده JEST شامل ارزیابی کیفیت و آموزنده بودن دسته‌های داده است. با اولویت‌بندی نمونه‌های داده‌های متنوع و معرف، JEST می‌تواند به سیستم‌های هوش مصنوعی کمک کند تا از مجموعه داده‌های متعادل‌تری آموزش ببینند و در نتیجه سوگیری‌ها در داده‌های آموزشی کاهش یابد. به عنوان مثال، در برنامه‌های هوش مصنوعی مراقبت‌های بهداشتی، JEST می‌تواند دسته‌های داده‌ای را انتخاب کند که فاکتورهای جمعیت‌شناختی مختلف را در بر می‌گیرد و اطمینان حاصل می‌کند که مدل‌های تشخیصی پزشکی بر روی جمعیت‌های مختلف بیماران آموزش داده شده‌اند. این انتخاب خطر تعصب‌هایجنسیتی، نژادی یا اجتماعی-اقتصادی را کاهش می‌دهد و تأثیر نامناسبی بر گروه‌های خاص ندارد.
JEST (انتخاب نمونه مشترک) یک روش نوآور است که به تسهیل نوآوری و تحقیق در حوزه هوش مصنوعی کمک می‌کند. این روش با کاهش نیاز به منابع محاسباتی و زمان طولانی برای آموزش مدل‌های هوش مصنوعی، محدودیت‌ها را برای محققان و نوآوران کاهش می‌دهد. با استفاده از JEST، امکان دسترسی به یک اکوسیستم پویا و پر از فعالیت در حوزه هوش مصنوعی فراهم می‌شود، به طوری که تیم‌ها و سازمان‌های کوچکتر نیز به راحتی می‌توانند راه حل‌های پیشرفته هوش مصنوعی را آزمایش و به کار بگیرند. همچنین، بهبود بهره‌وری که JEST ارائه می‌دهد، منابعی را آزاد می‌کند که می‌توانند به سمت کاوش در حوزه‌های جدید هوش مصنوعی، مانند معماری‌های جدید، الگوریتم‌های پیشرفته و چارچوب‌های اخلاقی هوش مصنوعی هدایت شوند.
علاوه بر این، JEST به توسعه فراگیر هوش مصنوعی کمک می‌کند. توسعه هوش مصنوعی باید شامل دیدگاه‌ها و ورودی‌های متنوعی باشد تا به طور مؤثر تعصبات و نگرانی‌های اخلاقی را کاهش دهد. JEST قابلیت انتخاب داده‌ها بر اساس ارزش اطلاعاتی و نمایندگی آنها را داراست و این باعث تشویق رویکردهای فراگیر در تنظیم مجموعه داده می‌شود. توسعه‌دهندگان هوش مصنوعی می‌توانند با مشارکت تیم‌های چند رشته‌ای، از جمله کارشناسان در اخلاق، علوم اجتماعی و زمینه‌های خاص دامنه، معیارهای انتخاب داده‌ها را تعریف کنند و به این ترتیب تضمین کنند که JEST به طور مؤثر به سوگیری‌ها و ملاحظات اخلاقی پاسخ می‌دهد. این رویکرد مشترک توسعه فراگیرتر و مسئولانه‌تر در فناوری‌های هوش مصنوعی را تقویت می‌کند.
نتیجه گیری
الگوریتم JEST که توسط DeepMind معرفی شده است، به طور قابل توجهی به پیشرفت در آموزش هوش مصنوعی مولد اشاره می‌کند. این الگوریتم با افزایش سرعت فرآیندهای آموزشی و کاهش مصرف انرژی، صرفه‌جویی قابل توجهی در هزینه‌ها به ارمغان می‌آورد و نگرانی‌های زیست محیطی مرتبط با توسعه هوش مصنوعی را حل می‌کند. علاوه بر این مزایا، JEST قابلیت بهبود دقت مدل، کاهش تعصبات موجود در داده‌ها، تقویت نوآوری و تشویق توسعه فراگیر هوش مصنوعی را دارا است. با استمرار در اصلاح و استفاده از JEST، آینده هوش مصنوعی بازتعریف می‌شود و به سمت راه‌حل‌های هوش مصنوعی کارآمدتر، پایدارتر و از نظر اخلاقی مسئولانه‌تر پیش می‌رود.