هوش مصنوعی در انگلیسی چنان خوب کار می‌کند که آدم فکر می‌کند همین کیفیت برای فارسی هم آماده است، ولی کافی است چند جمله‌ی محاوره‌ای یا یک متن با نیم‌فاصله‌ی نادرست به آن بدهید تا فاصله پیدا شود. در این مقاله می‌بینیم توسعه مدل فارسی دقیقاً کجا گیر می‌کند، چرا داده‌های زبانی فارسی کم و نامرتب‌اند و چه راهی پیش رویمان است.
فهرست مطالب:
- چرا هوش مصنوعی فارسی فقط ترجمه‌ی مدل‌های انگلیسی نیست؟
- هوش مصنوعی فارسی دقیقاً چیست و چه کاری باید انجام دهد؟
- چالش‌های زبانی: وقتی خود فارسی کار را سخت می‌کند
- چالش داده: مشکل اصلی در داده‌های زبانی فارسی
- چالش‌های فنی: توکنایزر، سخت‌افزار و ارزیابی
- راهکارهای عملی برای توسعه مدل فارسی
- مقایسه‌ی سه رویکرد اصلی در ساخت مدل فارسی
- آینده‌ی هوش مصنوعی فارسی: چه چیزی در راه است؟
- نکاتی برای کسب‌وکارها و تولیدکنندگان محتوا
- سوالات پرتکرار
- جمع‌بندی
چرا هوش مصنوعی فارسی فقط ترجمه‌ی مدل‌های انگلیسی نیست؟
یک تصور رایج این است که مدل‌های زبانی بزرگ همه‌ی زبان‌ها را «یاد می‌گیرند» و فارسی هم یکی از همان زبان‌هاست. این تصور تا حدی درست است. مدل‌های چندزبانه واقعاً فارسی بلدند و می‌توانند متن بنویسند، خلاصه کنند و سوال جواب بدهند. اما «بلد بودن» با «خوب بلد بودن» خیلی فرق دارد.
اگر مدتی با ابزارهای هوش مصنوعی به زبان فارسی کار کرده باشید، حتماً این موارد را دیده‌اید: جمله‌هایی که دستورشان درست است اما لحنشان ترجمه‌ای است، اشتباه در فعل‌های مرکب، گم شدن نیم‌فاصله، ناتوانی در فهم محاوره و پاسخ‌هایی که انگار از روی یک متن انگلیسی ترجمه شده‌اند. این‌ها باگ‌های اتفاقی نیستند. ریشه‌شان در سه چیز است: ساختار خود زبان فارسی، کمبود و کیفیت پایین منابع آموزشی، و تصمیم‌های فنی‌ای که برای انگلیسی طراحی شده‌اند و فارسی را در نظر نگرفته‌اند.
در این مقاله هر سه لایه را جدا از هم بررسی می‌کنم. هدف فقط شمردن مشکلات نیست. می‌خواهم نشان بدهم برای هر کدام چه راهی وجود دارد، چون توسعه مدل فارسی امروز بیشتر از هر زمان دیگری عملی شده است. ابزارهای متن‌باز، روش‌های تنظیم دقیق ارزان‌تر و جامعه‌ی رو‌به‌رشد پژوهشگران ایرانی و فارسی‌زبان شرایط را تغییر داده‌اند.
اگر تازه با دنیای هوش مصنوعی آشنا شده‌اید و می‌خواهید از پایه شروع کنید، مجموعه‌ی آموزش‌ها و معرفی ابزارهای aiamuz.com برای همین مسیر ساخته شده است.
هوش مصنوعی فارسی دقیقاً چیست و چه کاری باید انجام دهد؟
وقتی می‌گوییم «هوش مصنوعی فارسی»، منظورمان یک چیز واحد نیست. این اصطلاح چند لایه دارد و هر لایه چالش خودش را.
لایه‌ی اول، مدل‌های زبانی. مدلی که فارسی را بخواند، بفهمد و تولید کند. این مدل‌ها می‌توانند از نوع مولد باشند، مثل چت‌بات‌ها، یا از نوع درکی، مثل مدل‌هایی که احساس یک نظر را تشخیص می‌دهند یا یک متن را طبقه‌بندی می‌کنند.
لایه‌ی دوم، ابزارهای گفتاری. تبدیل گفتار فارسی به متن و برعکس. اینجا لهجه‌ها، سرعت صحبت و نویز محیط وارد ماجرا می‌شوند.
لایه‌ی سوم، ابزارهای تصویری و OCR. تشخیص متن فارسی در تصویر، که به دلیل چسبیده‌نویسی حروف و تغییر شکل آن‌ها بسته به جایگاه در کلمه، از انگلیسی دشوارتر است.
لایه‌ی چهارم، کاربردها. موتور جستجو، دستیار صوتی، ترجمه، تولید محتوا، پشتیبانی مشتری و آموزش. مدل خوب بدون کاربرد، فقط یک آزمایشگاه است.
نکته‌ی مهم اینجاست که هر چهار لایه به یک ماده‌ی خام مشترک نیاز دارند: داده‌های زبانی فارسی با کیفیت. اگر این ماده کم یا خراب باشد، بقیه‌ی زنجیره هم لنگ می‌زند. به همین دلیل بخش بزرگی از این مقاله به داده اختصاص دارد.
برای اینکه تصویر کلی روشن شود، بگذارید وضع را ساده بگویم. مدلی که برای کاربر فارسی‌زبان مفید باشد باید سه کار را هم‌زمان انجام دهد: فارسی معیار را درست بنویسد، فارسی محاوره را بفهمد و به فرهنگ و بافت ایرانی حساس باشد. هیچ‌کدام از این سه به‌تنهایی کافی نیست.
چالش‌های زبانی: وقتی خود فارسی کار را سخت می‌کند:
فارسی زبان بدی برای پردازش نیست. در بعضی جنبه‌ها حتی ساده‌تر از انگلیسی است، مثلاً جنسیت دستوری ندارد. اما چند ویژگی دارد که هر مهندس زبان فارسی با آن درگیر می‌شود.
خط، املا و مشکل نیم‌فاصله
فارسی با خط پارسی-عربی نوشته می‌شود و همین پیشینه، یک سری مشکل فنی می‌سازد. سراغ ساده‌ترین مثال برویم: حرف «ی» و «ک». در بسیاری از متن‌های اینترنتی، به جای «ی» فارسی، «ي» عربی نوشته شده و به جای «ک»، «ك». برای چشم انسان تقریباً یکسان‌اند، اما برای ماشین دو نویسه‌ی کاملاً متفاوت. نتیجه این است که یک کلمه‌ی واحد به چند شکل در داده‌ها ثبت می‌شود و مدل باید همه را جداگانه یاد بگیرد.
اعداد هم همین‌طورند. ما گاهی ۱۲۳ می‌نویسیم، گاهی 123 و گاهی ١٢٣ با ارقام عربی. هر کدام توکن‌های متفاوتی تولید می‌کنند.
اما بدنام‌ترین مشکل، نیم‌فاصله است. در فارسی معیار، کلماتی مثل «میروم»، «کتاب‌ها» و «خانه‌ی» باید با فاصله‌ی مجازی نوشته شوند. بخش بزرگی از کاربران این را رعایت نمی‌کنند و یا به جایش فاصله‌ی کامل می‌گذارند یا حروف را بدون فاصله به هم می‌چسبانند. برای مدل، «میروم»، «می روم» و «میروم» سه چیز متفاوت‌اند، در حالی که برای ما یک فعل‌اند. چنین نامنظمی هم در داده‌ی آموزش و هم در ورودی کاربر دیده می‌شود.
دوگانگی نوشتار و گفتار
شاید بزرگ‌ترین چالش زبانی همین باشد. ما فارسی را یک جور می‌نویسیم و یک جور حرف می‌زنیم. «می‌خواهم بروم» در نوشتار می‌شود «می‌خوام برم» در گفتار، و «آن‌ها» می‌شود «اونا». این فقط یک تفاوت واژگانی نیست. ساختار جمله، ضمیرها و حتی ترتیب کلمات تغییر می‌کنند.
در شبکه‌های اجتماعی، پیام‌رسان‌ها و نظرات کاربران، متن‌ها اغلب محاوره‌ای‌اند. اگر مدل فقط با متن‌های رسمی آموزش دیده باشد، با این متن‌ها دچار مشکل می‌شود. اگر فقط با محاوره آموزش ببیند، نوشتن یک مقاله‌ی رسمی را خوب انجام نمی‌دهد. و اگر هر دو را قاطی کند بدون اینکه تمایز را بفهمد، خروجی‌اش کم‌کم به مخلوطی عجیب تبدیل می‌شود.
صرف فعل، ساخت واژه و فعل‌های مرکب
فعل فارسی ظاهراً قاعده‌مند است، اما فعل‌های مرکب ماجرا را پیچیده می‌کنند. «تصمیم گرفتن»، «کمک کردن» و «به دست آوردن» همه از یک اسم و یک فعل کمکی ساخته شده‌اند، ولی معنایشان از جمع اجزا به‌دست نمی‌آید و اجزای آن‌ها هم می‌توانند در جمله از هم فاصله بگیرند. مدلی که کلمه‌به‌کلمه نگاه کند، رابطه‌ی «تصمیم» و «گرفتم» را در جمله‌ای طولانی ممکن است گم کند.
علاوه بر این، فارسی ضمایر را اغلب حذف می‌کند چون شناسه‌ی فعل کافی است. «رفتم» یعنی «من رفتم» و دیگر لازم نیست «من» را بگوییم. این برای پردازش ماشینی یعنی فاعل جمله باید از ریخت فعل استنباط شود، نه از یک کلمه‌ی جداگانه.
کسره‌ی اضافه و ابهام نبودن حرکت‌ها
در نوشتار فارسی، مصوت‌های کوتاه معمولاً نوشته نمی‌شوند. کلمه‌ی «کرد» را می‌توان «کِرد» (قوم)، «کُرد» (قوم دیگر، با تلفظ متفاوت) یا «کَرد» (فعل) خواند. همین‌طور کسره‌ی اضافه در نوشتار دیده نمی‌شود: «کتاب علی» یعنی «کتابِ علی»، اما حرف «ِ» هرگز نوشته نمی‌شود. مدل باید از بافت بفهمد که اینجا اضافه است یا نیست.
این موضوع در تبدیل متن به گفتار بسیار مهم می‌شود. سیستمی که «کرد» را اشتباه بخواند، هر چقدر هم صدایش طبیعی باشد، کاربر را آزار می‌دهد.
گویش‌ها و گونه‌های زبانی
فارسی فقط فارسی ایران نیست. در افغانستان به آن دری و در تاجیکستان تاجیکی می‌گویند و هر کدام واژگان، تلفظ و حتی خط خودشان را دارند. تاجیکی با خط سیریلیک نوشته می‌شود. در خود ایران هم لهجه‌ها و گویش‌های محلی فراوان‌اند. یک مدل فارسی‌محور باید تصمیم بگیرد کدام گونه را هدف قرار می‌دهد و آگاهانه با بقیه رفتار کند.
جدول ۱: خلاصه‌ی چالش‌های زبانی، اثر آن‌ها و راهکارها:
| چالش زبانی |
مثال |
اثر روی مدل |
راهکار رایج |
| ی و ک عربی |
«كتاب» به‌جای «کتاب» |
شکسته شدن آمار واژه‌ها |
نرمال‌سازی نویسه‌ها قبل از آموزش |
| نیم‌فاصله |
«میروم» و «میروم» |
چند شکل برای یک کلمه |
اصلاح خودکار و قواعد پیش‌پردازش |
| نوشتار و محاوره |
«نمی‌دانم» و «نمیدونم» |
ضعف در درک متن شبکه‌های اجتماعی |
داده‌ی متنوع و برچسب سبک زبانی |
| فعل مرکب |
«تصمیم گرفتن» |
از دست رفتن ارتباط اجزا |
مدل‌هایی با بافت طولانی‌تر |
| نبود حرکت‌گذاری |
«کرد» با سه خوانش |
خطا در تلفظ و ابهام معنا |
استفاده از بافت و مدل‌های واج‌نگاری |
| گونه‌های زبانی |
فارسی ایران، دری، تاجیکی |
سردرگمی در واژگان و سبک |
مشخص کردن گونه‌ی هدف |
چالش داده: مشکل اصلی در داده‌های زبانی فارسی:
هر کسی که چند ساعت با یادگیری ماشین کار کرده بداند که مدل، آینه‌ی داده‌اش است. اگر داده‌های زبانی فارسی کم، کثیف یا یک‌طرفه باشند، بهترین معماری هم کمکی نمی‌کند.
کمبود در مقایسه با انگلیسی
فارسی از نظر تعداد گویشور بین زبان‌های بزرگ دنیاست، ولی از نظر محتوای دیجیتال سهمش خیلی کمتر از این است. این یعنی در مجموعه‌های بزرگ وب که مدل‌ها با آن‌ها آموزش می‌بینند، فارسی سهم کوچکی دارد. در بسیاری از مدل‌های چندزبانه، فارسی در دسته‌ی «زبان‌های با منابع متوسط» قرار می‌گیرد. نه آن‌قدر کم که نادیده گرفته شود و نه آن‌قدر زیاد که مدل بدون زحمت یادش بگیرد.
کیفیت: بزرگ بودن کافی نیست
حتی وقتی حجم داده کافی به نظر برسد، کیفیتش مشکل می‌سازد. وب فارسی پر است از متن‌های تکراری، محتوای ترجمه‌ی ماشینی، صفحات اسپم و متن‌هایی که با هدف سئو نوشته شده‌اند و ارزش آموزشی ندارند. اگر پاک‌سازی درست انجام نشود، مدل خودش هم همین الگوها را یاد می‌گیرد.
یکی از مشکلات خاص این روزها، ورود متن تولیدشده با هوش مصنوعی به خود وب است. اگر مدل‌های آینده با متنی آموزش ببینند که مدل‌های قبلی نوشته‌اند، خطاهای قبلی تقویت می‌شوند. این نگرانی برای فارسی جدی‌تر است چون حجم متن اصیل کمتر است و سهم متن ماشینی در آن زودتر بالا می‌رود.
سوگیری و نمایندگی ناقص
داده‌های موجود فارسی بیشتر از اخبار، ویکی‌پدیا، وبلاگ‌ها و شبکه‌های اجتماعی می‌آیند. این منابع همه‌ی گروه‌های زبانی و اجتماعی را به یک اندازه نشان نمی‌دهند. متن‌های علمی تخصصی، ادبیات کلاسیک، متن‌های حقوقی و پزشکی فارسی در مجموعه‌ها کمتر دیده می‌شوند و همین باعث می‌شود مدل در این حوزه‌ها ضعیف‌تر عمل کند.
داده‌ی برچسب‌دار و ارزیابی
برای آموزش مدل‌های دقیق‌تر، مثل تشخیص موجودیت‌های نامدار، تحلیل احساس یا پرسش و پاسخ، به داده‌ی برچسب‌دار نیاز داریم. برچسب‌گذاری با دست هم گران است و هم نیاز به متخصص زبان دارد. نتیجه این است که مجموعه‌های برچسب‌دار فارسی نسبت به انگلیسی بسیار کوچک‌ترند.
حق نشر و حریم خصوصی
این مورد را کمتر کسی جدی می‌گیرد، اما در عمل یکی از سخت‌ترین بخش‌هاست. بخش بزرگی از متن‌های باکیفیت فارسی، مثل کتاب‌ها، مقالات خبری و پژوهشی، تحت حق نشر هستند. جمع‌آوری آن‌ها بدون مجوز مشکل حقوقی ایجاد می‌کند. از طرف دیگر، داده‌های گرفته‌شده از شبکه‌های اجتماعی ممکن است اطلاعات شخصی داشته باشند. تیمی که می‌خواهد داده‌های زبانی فارسی جمع کند باید از همان ابتدا برای این دو موضوع برنامه داشته باشد.
جدول ۲: منابع و داده‌های شناخته‌شده در پردازش زبان فارسی:
| نوع منبع |
نمونه |
کاربرد معمول |
محدودیت اصلی |
| ویکی‌پدیای فارسی |
مقاله‌های دانشنامه‌ای |
آموزش اولیه، دانش عمومی |
حجم کمتر از زبان‌های بزرگ، پوشش ناهمگون |
| پیکره‌های خبری |
پیکره‌ی همشهری |
طبقه‌بندی و بازیابی اطلاعات |
سبک رسمی و موضوعات محدود |
| پیکره‌های برچسب‌دار |
پیکره‌ی بی‌جن‌خان |
برچسب‌گذاری اجزای کلام |
حجم کم و قدیمی بودن |
| مجموعه‌های وب چندزبانه |
mC4 و Common Crawl |
پیش‌آموزش مدل‌های بزرگ |
نیاز به پاک‌سازی جدی |
| مجموعه‌های ارزیابی |
ParsiNLU |
سنجش درک زبان |
پوشش محدود وظایف |
چالش‌های فنی: توکنایزر، سخت‌افزار و ارزیابی:
بعد از زبان و داده، نوبت به مسائل مهندسی می‌رسد.
توکنایزر: هزینه‌ای که کاربر نمی‌بیند
مدل‌های زبانی متن را مستقیم نمی‌خوانند. اول آن را به تکه‌هایی به نام توکن می‌شکنند. توکنایزر بر اساس داده‌ی آموزشی ساخته می‌شود و اگر در آن داده فارسی کم باشد، کلمات فارسی را به تکه‌های ریز و بی‌معنا خرد می‌کند. جایی که یک کلمه‌ی انگلیسی شاید یک یا دو توکن باشد، یک کلمه‌ی فارسی ممکن است چند توکن مصرف کند.
این موضوع سه پیامد دارد. اول، هزینه‌ی استفاده بالاتر می‌رود چون بسیاری از سرویس‌ها بر اساس تعداد توکن پول می‌گیرند. دوم، پنجره‌ی بافت مدل زودتر پر می‌شود، یعنی مدل در یک گفتگو یا سند، متن فارسی کمتری را می‌بیند. سوم، سرعت تولید پایین‌تر می‌آید. برای همین یکی از اولین تصمیم‌ها در توسعه مدل فارسی، ساخت یا اصلاح توکنایزر است.
سخت‌افزار و منابع محاسباتی
آموزش یک مدل زبانی بزرگ از صفر، به خوشه‌ی بزرگی از پردازنده‌های گرافیکی و بودجه‌ی سنگین نیاز دارد. این برای تیم‌های کوچک و استارتاپ‌ها دور از دسترس است. دسترسی به سخت‌افزار پیشرفته و سرویس‌های ابری در بعضی کشورها از جمله ایران با محدودیت‌های بیشتری هم روبه‌رو است و این شرایط انتخاب رویکرد را عملاً به سمت روش‌های سبک‌تر می‌برد، که در بخش راهکارها درباره‌شان صحبت می‌کنم.
ارزیابی و بنچمارک
شاید این مهم‌ترین چالش پنهان باشد. شما چطور می‌فهمید یک مدل فارسی «خوب» است؟ در انگلیسی مجموعه‌های ارزیابی متعدد و شناخته‌شده وجود دارد. در فارسی تعدادشان کمتر است، پوشش وظایف محدودتر است و بعضی از آن‌ها ترجمه‌ی ماشینی از انگلیسی‌اند که خودشان خطا دارند.
ترجمه‌ی بنچمارک انگلیسی به فارسی دو مشکل دارد. اول اینکه ممکن است جمله‌ها طبیعی نباشند. دوم اینکه بنچمارک فرهنگ سازندگانش را با خود می‌آورد. سوالی درباره‌ی یک ورزش یا غذای آمریکایی، معیار خوبی برای سنجش درک مدل از فرهنگ ایرانی نیست. بدون ارزیابی بومی، پیشرفت واقعی را نمی‌شود اندازه گرفت.
ابزارها و زیرساخت راست‌به‌چپ
مسئله‌ی کوچک‌تری هم هست که در عمل اذیت می‌کند: خیلی از ابزارها، کتابخانه‌ها و رابط‌های کاربری برای متن چپ‌به‌راست طراحی شده‌اند. نمایش درست متن دوطرفه، یعنی فارسی همراه با کلمات انگلیسی و اعداد، گاهی خروجی را به‌هم می‌ریزد. این‌ها مشکل‌های بزرگی نیستند، ولی هر کدام زمان تیم را می‌گیرند.
راهکارهای عملی برای توسعه مدل فارسی
تا اینجا بیشتر از مشکلات حرف زدیم. حالا ببینیم چه کاری از دست ما برمی‌آید. خبر خوب این است که بیشتر چالش‌های بالا راه‌حل مشخص دارند.
قدم اول: نرمال‌سازی و پاک‌سازی داده
پیش از هر آموزشی، متن باید یکدست شود. یعنی تبدیل «ي» و «ك» عربی به معادل فارسی، یکسان‌سازی اعداد، اصلاح نیم‌فاصله‌ها، حذف نویسه‌های نامرئی و تبدیل شکل‌های مختلف یک نویسه به یک شکل. این مرحله خسته‌کننده است ولی اثرش زیاد است. بسیاری از تیم‌ها به‌اشتباه آن را زود رد می‌کنند و بعد در مرحله‌ی ارزیابی با نتایج عجیب روبه‌رو می‌شوند.
بعد از نرمال‌سازی نوبت حذف تکرار و فیلتر کیفیت است. متن‌های تکراری، صفحات اسپم و متن‌های ترجمه‌ی ماشینی بی‌کیفیت باید کنار بروند. کم‌حجم‌تر ولی تمیزتر، تقریباً همیشه از پرحجم و کثیف بهتر است.
قدم دوم: جمع‌آوری مشارکتی و مجوزدار
برای داده‌های زبانی فارسی بهتر است به‌جای خزش کورکورانه‌ی وب، به سمت منابع دارای مجوز روشن برویم. همکاری با ناشران، دانشگاه‌ها و رسانه‌ها می‌تواند متن‌های باکیفیت و قانونی فراهم کند. پروژه‌های مشارکتی که کاربران داوطلبانه در تولید و برچسب‌گذاری داده کمک کنند، نمونه‌ی دیگری از همین رویکرد است. این کار زمان می‌برد، اما پایه‌ای می‌سازد که بعداً دردسر حقوقی ندارد.
نکته‌ی مهم دیگر تنوع است. داده‌ی خوب باید هم متن رسمی داشته باشد، هم محاوره، هم حوزه‌های تخصصی مثل پزشکی و حقوق و هم ادبیات. اگر فقط به اخبار تکیه کنیم، مدل در گفت‌وگوی روزمره ضعیف می‌شود.
قدم سوم: توکنایزر بومی یا توسعه‌یافته
اگر منابع اجازه می‌دهد، آموزش یک توکنایزر با نسبت بیشتری از متن فارسی، می‌تواند تعداد توکن‌های هر جمله را کم کند. در عمل بسیاری از تیم‌ها به‌جای ساخت مدل جدید، واژگان توکنایزر یک مدل متن‌باز را با توکن‌های فارسی گسترش می‌دهند و مدل را بعد از آن ادامه‌ی آموزش می‌دهند. این روش کم‌هزینه‌تر است و بهبود محسوسی در سرعت و هزینه‌ی استفاده می‌دهد.
قدم چهارم: ادامه‌ی پیش‌آموزش روی مدل چندزبانه
به‌جای ساخت مدل از صفر، می‌توان از یک مدل متن‌باز قوی شروع کرد و آن را با حجم بزرگی از متن فارسی ادامه‌ی آموزش داد. مدل پایه قبلاً زبان و استدلال را در حد خوبی یاد گرفته و ما فقط فارسی را به آن اضافه یا تقویت می‌کنیم. این رویکرد در عمل، برای بسیاری از پروژه‌های توسعه مدل فارسی واقع‌بینانه‌ترین مسیر است.
قدم پنجم: تنظیم دقیق با روش‌های سبک
روش‌هایی مثل LoRA اجازه می‌دهند فقط بخش کوچکی از پارامترهای مدل آموزش ببینند. این یعنی با یک یا چند پردازنده‌ی گرافیکی متوسط هم می‌شود مدل را برای یک وظیفه یا یک حوزه‌ی فارسی تنظیم کرد. برای کسب‌وکارهایی که یک دستیار تخصصی می‌خواهند، مثل پشتیبانی مشتری یا پاسخ به سوالات حقوقی، این روش مقرون‌به‌صرفه است.
قدم ششم: ساخت بنچمارک بومی
بدون معیار سنجش، نمی‌توانید بفهمید کار شما جواب داده یا نه. بنچمارک بومی باید سوال‌هایی داشته باشد که توسط فارسی‌زبانان نوشته شده، فرهنگ ایرانی را پوشش دهد و حوزه‌های مختلف را دربر بگیرد. حتی یک مجموعه‌ی کوچک اما دست‌ساز، از یک مجموعه‌ی بزرگ ترجمه‌شده ارزشمندتر است.
قدم هفتم: بازیابی دانش به‌جای حفظ کردن
گاهی لازم نیست مدل همه‌چیز را در وزن‌هایش داشته باشد. در رویکرد RAG، مدل قبل از پاسخ دادن از یک پایگاه دانش فارسی اطلاعات مرتبط را پیدا می‌کند و بر اساس آن جواب می‌دهد. این روش خطای ساختگی (hallucination) را کم می‌کند و به‌روز نگه داشتن دانش را آسان می‌کند، چون با تغییر اسناد، لازم نیست مدل دوباره آموزش ببیند.
جدول ۳: مقایسه‌ی سه رویکرد اصلی در ساخت مدل فارسی:
| معیار |
ساخت از صفر |
ادامه‌ی آموزش و تنظیم دقیق |
RAG بدون آموزش مجدد |
| هزینه‌ی محاسباتی |
بسیار زیاد |
متوسط |
کم |
| حجم داده‌ی لازم |
بسیار زیاد |
متوسط تا زیاد |
کم |
| کنترل روی رفتار مدل |
کامل |
بالا |
محدود |
| سرعت رسیدن به نتیجه |
کند |
متوسط |
سریع |
| مناسب برای |
پژوهشگاه‌ها و شرکت‌های بزرگ |
تیم‌های متوسط و استارتاپ‌ها |
کسب‌وکارهای کوچک و پروژه‌های سریع |
اگر بخواهم صادقانه جمع‌بندی کنم، برای اغلب تیم‌های ایرانی، ترکیب «ادامه‌ی آموزش یک مدل متن‌باز + RAG» منطقی‌ترین انتخاب است. ساخت از صفر فقط وقتی توجیه دارد که منابع واقعاً در اختیار باشد.
می‌خواهید یاد بگیرید چطور از ابزارهای هوش مصنوعی فارسی‌محور استفاده کنید؟
دوره‌ها و مقاله‌های آموزشی aiamuz.com از آشنایی اولیه تا ابزارهای پیشرفته را پوشش می‌دهند. همین حالا وارد سایت شوید و مسیر یادگیری‌تان را شروع کنید.
آینده‌ی هوش مصنوعی فارسی: چه چیزی در راه است؟
پیش‌بینی در این حوزه همیشه خطر دارد، چون تغییرات سریع‌اند. اما چند روند به‌نظر می‌رسد ادامه پیدا کنند.
مدل‌های کوچک‌تر و کارآمدتر. پژوهشگران تلاش می‌کنند مدل‌هایی بسازند که با حجم کمتر، نتیجه‌ی نزدیک به مدل‌های بزرگ بدهند. این برای فارسی که منابع محدودتری دارد خبر خوبی است، چون مدل کوچک‌تر یعنی هزینه‌ی کمتر برای آموزش و اجرا.
مدل‌هایی که روی دستگاه کاربر اجرا می‌شوند. اجرای مدل روی گوشی یا لپ‌تاپ، بدون ارسال داده به سرور، هم حریم خصوصی را بهتر می‌کند و هم به اینترنت پایدار وابسته نیست. برای کاربران فارسی‌زبان که گاهی با محدودیت دسترسی روبه‌رو هستند، این روند اهمیت عملی دارد.
چندوجهی شدن. مدل‌هایی که هم‌زمان متن، تصویر و صدا را می‌فهمند. در این حوزه برای فارسی هنوز فاصله‌ی زیادی با انگلیسی وجود دارد، به‌خصوص در تشخیص گفتار با لهجه‌های مختلف و درک متن داخل تصویر.
تمرکز بر کیفیت داده به‌جای حجم. تجربه نشان داده داده‌ی کمتر ولی تمیز و متنوع، گاهی از انبوه داده‌ی نامرتب بهتر نتیجه می‌دهد. برای داده‌های زبانی فارسی این یعنی سرمایه‌گذاری روی پاک‌سازی و مجوز، نه فقط جمع‌آوری بیشتر.
ارزیابی بومی. انتظار دارم در سال‌های آینده توجه به بنچمارک‌های ساخته‌شده توسط فارسی‌زبانان بیشتر شود. هر جامعه‌ی زبانی که معیار سنجش خودش را نداشته باشد، در عمل کیفیت مدل‌ها را از دید دیگران می‌بیند.
همکاری جامعه. پروژه‌های متن‌باز و داده‌ی مشارکتی نشان داده‌اند که یک جامعه‌ی فعال می‌تواند خلأ منابع را تا حد زیادی پر کند. آینده‌ی توسعه مدل فارسی احتمالاً کمتر در انحصار چند شرکت بزرگ و بیشتر حاصل کار شبکه‌ای از پژوهشگران، دانشگاه‌ها و علاقه‌مندان خواهد بود.
نکاتی برای کسب‌وکارها و تولیدکنندگان محتوا:
اگر مهندس یادگیری ماشین نیستید و فقط می‌خواهید از هوش مصنوعی در کارتان استفاده کنید، این بخش برای شماست.
۱. خروجی را همیشه بخوانید. هر متن فارسی که هوش مصنوعی بنویسد را قبل از انتشار ویرایش کنید. به نیم‌فاصله‌ها، فعل‌های مرکب و لحن ترجمه‌ای دقت کنید. متنی که ظاهراً درست است اما لحنش ماشینی است، هم خواننده را از دست می‌دهد و هم می‌تواند از نظر کیفیت محتوا مشکل بسازد.
۲. پرامپت فارسی دقیق بنویسید. هرچه توضیح بدهید که لحن رسمی می‌خواهید یا دوستانه، مخاطب کیست و چه سبکی مدنظر است، خروجی بهتر می‌شود. گفتن «فارسی روان و غیرترجمه‌ای بنویس» به‌تنهایی هم تفاوت می‌سازد.
۳. برای کار تخصصی، دانش خودتان را به مدل بدهید. اگر برای حوزه‌ی حقوقی، پزشکی یا فنی از هوش مصنوعی استفاده می‌کنید، اسناد معتبر را کنار پرامپت قرار دهید. این همان ایده‌ی RAG است که در بخش قبل گفتم، حتی اگر فقط به‌صورت دستی انجامش دهید.
۴. حساسیت داده را جدی بگیرید. اطلاعات شخصی مشتریان یا اسناد محرمانه‌ی شرکت را بی‌ملاحظه وارد سرویس‌های عمومی نکنید.
۵. اگر نیاز به راه‌حل اختصاصی دارید، مشاوره بگیرید. هر کسب‌وکار داده و نیاز خودش را دارد. برای اینکه بدانید تنظیم دقیق، RAG یا استفاده‌ی مستقیم از یک مدل آماده برای شما مناسب‌تر است، بهتر است با یک تیم متخصص صحبت کنید.
برای مشاوره و هماهنگی تماس بگیرید:
📍 تهران، خیابان توحید
📞 02166918783
✉️ info@dejcom.com
سوالات پرتکرار:
آیا ChatGPT و مدل‌های مشابه فارسی را خوب می‌فهمند؟
برای کارهای عمومی، بله. می‌توانند متن بنویسند، خلاصه کنند و سوال جواب بدهند. اما در لحن طبیعی، محاوره، موضوعات فرهنگی و تخصصی و رعایت نیم‌فاصله ممکن است ضعف نشان بدهند. کیفیت بسته به مدل و نسخه‌ی آن تفاوت دارد.
مهم‌ترین مشکل در توسعه هوش مصنوعی فارسی چیست؟
به نظر بیشتر پژوهشگران، کمبود داده‌های زبانی فارسی باکیفیت و بدون مشکل حقوقی، مهم‌ترین مانع است. بعد از آن توکنایزر ناکارآمد و نبود بنچمارک بومی قرار می‌گیرند.
آیا ساخت یک مدل فارسی از صفر ارزش دارد؟
برای اغلب تیم‌ها نه. ادامه‌ی آموزش یک مدل متن‌باز و تنظیم دقیق آن روی متن فارسی، هزینه‌ی بسیار کمتری دارد و نتیجه‌ی قابل‌قبولی می‌دهد. ساخت از صفر فقط وقتی منطقی است که بودجه، داده و تیم بزرگ در اختیار باشد.
نیم‌فاصله چه تاثیری روی هوش مصنوعی دارد؟
بی‌توجهی به نیم‌فاصله باعث می‌شود یک کلمه به چند شکل مختلف در داده ثبت شود. مدل مجبور است همه‌ی این شکل‌ها را جدا یاد بگیرد و گاهی خروجی ناهمگون تولید می‌کند. نرمال‌سازی متن قبل از آموزش این مشکل را تا حد زیادی کم می‌کند.
توکنایزر چیست و چرا برای فارسی مهم است؟
توکنایزر متن را به واحدهای کوچک‌تری به نام توکن تقسیم می‌کند تا مدل بتواند پردازشش کند. اگر توکنایزر برای فارسی بهینه نباشد، هر کلمه به تکه‌های زیادی خرد می‌شود و هزینه و سرعت پردازش بدتر می‌شود.
چطور می‌توانم در توسعه هوش مصنوعی فارسی مشارکت کنم؟
می‌توانید در پروژه‌های متن‌باز و جمع‌آوری مشارکتی داده شرکت کنید، متن‌های باکیفیت و مجوزدار تولید کنید یا در ساخت مجموعه‌های ارزیابی فارسی کمک کنید. حتی بازخورد دادن به ابزارهایی که استفاده می‌کنید هم بی‌اثر نیست.
آیا هوش مصنوعی جای تولیدکنندگان محتوای فارسی را می‌گیرد؟
بعید می‌دانم. هوش مصنوعی سرعت نوشتن را بالا می‌برد، اما نگاه انسانی، تجربه‌ی واقعی و حس فرهنگی را هنوز نمی‌تواند جایگزین کند. تولیدکنندگانی که یاد بگیرند از این ابزار درست استفاده کنند، از آن عقب نمی‌مانند.
جمع‌بندی
هوش مصنوعی فارسی با سه گروه چالش روبه‌روست: چالش‌های زبانی مثل نیم‌فاصله، دوگانگی نوشتار و گفتار و فعل‌های مرکب، چالش داده که به کمبود و کیفیت پایین داده‌های زبانی فارسی برمی‌گردد، و چالش‌های فنی مثل توکنایزر ناکارآمد، محدودیت منابع و نبود بنچمارک بومی.
اما این وضعیت بن‌بست نیست. نرمال‌سازی دقیق، جمع‌آوری داده‌ی مجوزدار، توکنایزر گسترش‌یافته، ادامه‌ی آموزش مدل‌های متن‌باز، تنظیم دقیق سبک و RAG همگی ابزارهای واقعی‌اند که امروز در دسترس‌اند. برای بیشتر تیم‌ها، مسیر عملی توسعه مدل فارسی از همین ترکیب می‌گذرد، نه از ساخت یک مدل غول‌پیکر از صفر.
و اگر کاربر یا تولیدکننده‌ی محتوا هستید، مهم‌ترین نکته این است: هوش مصنوعی دستیار خوبی است، به شرط اینکه خروجی‌اش را بخوانید و با دانش و ذوق خودتان تکمیلش کنید.
برای ادامه‌ی مسیر، مقاله‌ها، معرفی ابزارها و دوره‌های آموزشی aiamuz.com را ببینید. اگر هم درباره‌ی پروژه‌ی خودتان سوال دارید، با ما تماس بگیرید:
📍 تهران، خیابان توحید
📞 02166918783
✉️ info@dejcom.com