مدل‌های بنیادی در هوش مصنوعی مولد چیستند؟

مدل‌های بنیادی در هوش مصنوعی مولد چیستند؟

پاسخ کوتاه: مدل‌های بنیادی، مدل‌های هوش مصنوعی بزرگ و همه‌منظوره‌ای هستند که بر روی مجموعه داده‌های وسیع و گسترده آموزش دیده‌اند، سپس از طریق راهنمایی، تنظیم دقیق، ابزارها یا بازیابی، برای بسیاری از کارها (نوشتن، جستجو، کدنویسی، تصاویر) سازگار شده‌اند. اگر به پاسخ‌های قابل اعتماد نیاز دارید، آنها را با پایه (مانند RAG)، محدودیت‌های واضح و بررسی‌ها جفت کنید، نه اینکه اجازه دهید بداهه عمل کنند.

نکات کلیدی:

تعریف : یک مدل پایه که به طور گسترده آموزش دیده است و در بسیاری از وظایف مورد استفاده مجدد قرار می‌گیرد، نه یک وظیفه برای هر مدل.

تطبیق : از راهنمایی، تنظیم دقیق، LoRA/آداپتورها، RAG و ابزارها برای هدایت رفتار استفاده کنید.

تناسب تولیدی : آنها متن، تصویر، صدا، کد و تولید محتوای چندوجهی را تقویت می‌کنند.

سیگنال‌های کیفیت : اولویت‌بندی کنترل‌پذیری، توهمات کمتر، توانایی چندوجهی و استنتاج کارآمد.

کنترل ریسک : برنامه‌ریزی برای توهمات، سوگیری‌ها، نشت حریم خصوصی و تزریق سریع از طریق نظارت و آزمایش.

مدل‌های بنیادی در هوش مصنوعی مولد چیستند؟ اینفوگرافیک

مقالاتی که شاید بعد از این مطلب دوست داشته باشید بخوانید:

🔗 شرکت هوش مصنوعی چیست؟
درک کنید که چگونه شرکت‌های هوش مصنوعی محصولات، تیم‌ها و مدل‌های درآمدی را می‌سازند.

🔗 کد هوش مصنوعی چه شکلی است؟
نمونه‌هایی از کد هوش مصنوعی، از مدل‌های پایتون گرفته تا APIها را ببینید.

🔗 الگوریتم هوش مصنوعی چیست؟
بیاموزید که الگوریتم‌های هوش مصنوعی چیستند و چگونه تصمیم‌گیری می‌کنند.

🔗 فناوری هوش مصنوعی چیست؟
فناوری‌های اصلی هوش مصنوعی را که به اتوماسیون، تجزیه و تحلیل و برنامه‌های هوشمند قدرت می‌دهند، بررسی کنید.

۱) مدل‌های فونداسیون - تعریفی بی‌پرده 🧠

یک مدل پایه ، یک مدل هوش مصنوعی بزرگ و همه منظوره است که بر روی داده‌های گسترده (معمولاً حجم زیادی از آنها) آموزش دیده است، بنابراین می‌تواند با بسیاری از وظایف، نه فقط یک وظیفه، سازگار شود ( NIST ، Stanford CRFM ).

به جای ساختن یک مدل جداگانه برای:

  • نوشتن ایمیل

  • پاسخ دادن به سوالات

  • خلاصه کردن فایل‌های PDF

  • تولید تصاویر

  • دسته‌بندی تیکت‌های پشتیبانی

  • ترجمه زبان‌ها

  • ارائه پیشنهاد کد

... شما یک مدل پایه بزرگ را آموزش می‌دهید که «جهان را به روش آماری فازی یاد می‌گیرد»، سپس آن را با دستورالعمل‌ها، تنظیم دقیق یا ابزارهای اضافه شده برای کارهای خاص تطبیق می‌دهید بوماسانی و همکاران، 2021 ).

به عبارت دیگر: این یک موتور عمومی که می‌توانید آن را هدایت کنید.

و بله، کلمه کلیدی «عمومی» است. کل ترفند همین است.

۲) مدل‌های بنیادی در هوش مصنوعی مولد چیستند؟ (چگونه به طور خاص در آن جای می‌گیرند) 🎨📝

مدل‌های بنیادی در هوش مصنوعی مولد چیستند؟ آن‌ها مدل‌های زیربنایی هستند که سیستم‌هایی را که می‌توانند تولید کنند، - متن، تصاویر، صدا، کد، ویدیو و به طور فزاینده‌ای... ترکیبی از همه این‌ها ( NIST ، NIST Generative AI Profile ).

هوش مصنوعی مولد فقط در مورد پیش‌بینی برچسب‌هایی مانند «هرزنامه/غیرهرزنامه» نیست. بلکه در مورد تولید خروجی‌هایی است که به نظر می‌رسد توسط یک انسان ساخته شده‌اند.

  • پاراگراف‌ها

  • اشعار

  • توضیحات محصول

  • تصاویر

  • ملودی ها

  • نمونه‌های اولیه برنامه

  • صداهای مصنوعی

  • و گاهی اوقات مزخرفاتی با اعتماد به نفس غیرقابل باور 🙃

مدل‌های پایه به ویژه در اینجا خوب هستند زیرا:

آنها "لایه پایه" هستند - مانند خمیر نان. می‌توانید آن را به صورت نان باگت، پیتزا یا رول دارچینی بپزید... استعاره کاملی نیست، اما منظورم را می‌فهمید 😄

۳) چرا آنها همه چیز را تغییر دادند (و چرا مردم از صحبت کردن در مورد آنها دست برنمی‌دارند) 🚀

قبل از مدل‌های بنیادی، بسیاری از هوش مصنوعی مختص به یک وظیفه خاص بودند:

  • آموزش مدلی برای تحلیل احساسات

  • دیگری را برای ترجمه آموزش دهید

  • آموزش دیگری برای طبقه‌بندی تصویر

  • آموزش دیگری برای تشخیص موجودیت‌های اسمی

این روش جواب داد، اما کند، گران و تا حدودی شکننده بود.

مدل‌های بنیاد آن را وارونه کردند:

  • یک بار پیش تمرین (با تلاش زیاد)

  • استفاده مجدد در همه جا (بازده بزرگ) ( Bommasani et al., 2021 )

این استفاده مجدد، همان عامل افزایش است. شرکت‌ها می‌توانند به جای اینکه چرخ را ۲۰ بار از اول اختراع کنند، ۲۰ ویژگی را بر اساس یک خانواده مدل بسازند.

همچنین، تجربه کاربری طبیعی‌تر شد:

  • شما از «طبقه‌بندی‌کننده» استفاده نمی‌کنید

  • با مدل طوری حرف میزنی انگار یه همکار مفیده که هیچ‌وقت نمیخوابه ☕🤝

گاهی اوقات هم مثل همکاری است که با اعتماد به نفس همه چیز را اشتباه متوجه می‌شود، اما خب... رشد.

۴) ایده اصلی: پیش‌آموزش + سازگاری 🧩

تقریباً همه مدل‌های فونداسیون از یک الگو پیروی می‌کنند ( Stanford CRFM ، NIST ):

پیش‌آموزش (مرحله‌ی «جذب اینترنت») 📚

این مدل با استفاده از یادگیری خودنظارتی ( NIST ) بر روی مجموعه داده‌های عظیم و گسترده آموزش داده می‌شود. برای مدل‌های زبانی، این معمولاً به معنای پیش‌بینی کلمات گمشده یا توکن بعدی است ( Devlin و همکاران، ۲۰۱۸ ، Brown و همکاران، ۲۰۲۰ ).

نکته این نیست که یک وظیفه را به آن یاد بدهیم. نکته این است که نمایش‌های کلی را :

  • دستور زبان

  • حقایق (نوعی)

  • الگوهای استدلال (گاهی)

  • سبک‌های نوشتاری

  • ساختار کد

  • نیت مشترک انسانی

سازگاری (مرحله «عملی کردن») 🛠️

سپس آن را با استفاده از یک یا چند مورد از موارد زیر تطبیق می‌دهید:

  • راهنمایی (دستورالعمل‌ها به زبان ساده)

  • تنظیم دستورالعمل (آموزش آن برای پیروی از دستورالعمل‌ها) ( وی و همکاران، 2021 )

  • تنظیم دقیق (آموزش روی داده‌های دامنه شما)

  • LoRA / آداپتورها (روش‌های تنظیم سبک) ( هو و همکاران، 2021 )

  • RAG (تولید افزوده بازیابی - مدل با اسناد شما مشورت می‌کند) ( لوئیس و همکاران، ۲۰۲۰ )

  • استفاده از ابزار (فراخوانی توابع، مرور سیستم‌های داخلی و غیره)

به همین دلیل است که همان مدل پایه می‌تواند یک صحنه عاشقانه بنویسد... سپس پنج ثانیه بعد به اشکال‌زدایی یک کوئری SQL کمک کند 😭

۵) چه چیزی یک نسخه خوب از مدل فونداسیون را می‌سازد؟ ✅

این بخشی است که مردم از آن می‌گذرند و بعداً پشیمان می‌شوند.

یک مدل فونداسیون «خوب» فقط «بزرگتر» نیست. بزرگتر بودن قطعاً مفید است... اما تنها مزیت آن نیست. یک نسخه خوب از یک مدل فونداسیون معمولاً دارای موارد زیر است:

تعمیم قوی 🧠

این سیستم در بسیاری از وظایف بدون نیاز به آموزش مجدد مختص آن وظیفه، عملکرد خوبی دارد ( بوماسانی و همکاران، 2021 ).

هدایت و کنترل‌پذیری 🎛️

می‌تواند با اطمینان دستورالعمل‌هایی مانند موارد زیر را دنبال کند:

  • «مختصر و مختصر باشید»

  • «از نکات برجسته استفاده کنید»

  • «با لحنی دوستانه بنویسید»

  • «اطلاعات محرمانه را فاش نکنید»

بعضی مدل‌ها هوشمند هستند اما لغزنده‌اند. مثل این است که بخواهید یک قالب صابون را زیر دوش نگه دارید. مفید، اما نامنظم 😅

تمایل کم به توهم (یا حداقل عدم قطعیت آشکار) 🧯

هیچ مدلی از توهم مصون نیست، اما مدل‌های خوب:

توانایی خوب در انجام کارهای چندوجهی (در صورت نیاز) 🖼️🎧

اگر در حال ساخت دستیارهایی هستید که تصاویر را می‌خوانند، نمودارها را تفسیر می‌کنند یا صدا را می‌فهمند، چندوجهی بودن اهمیت زیادی دارد ( رادفورد و همکاران، 2021 ).

استنتاج کارآمد ⚡

تأخیر و هزینه اهمیت دارند. مدلی که قوی اما کند است مانند یک ماشین اسپرت با لاستیک پنچر است.

رفتار ایمنی و هم‌ترازی 🧩

نه فقط «همه چیز را رد کنید»، بلکه:

  • از دستورالعمل‌های مضر اجتناب کنید

  • کاهش سوگیری

  • با احتیاط با موضوعات حساس برخورد کنید

  • در برابر تلاش‌های اولیه برای جیلبریک مقاومت کنید (تا حدودی...) ( NIST AI RMF 1.0 ، پروفایل هوش مصنوعی مولد NIST )

مستندات + اکوسیستم 🌱

این حرف کلیشه‌ای به نظر می‌رسد، اما واقعی است:

  • ابزارسازی

  • مهارهای ارزیابی

  • گزینه‌های استقرار

  • کنترل‌های سازمانی

  • پشتیبانی از تنظیم دقیق

بله، «اکوسیستم» کلمه مبهمی است. من هم از آن متنفرم. اما مهم است.

۶) جدول مقایسه - گزینه‌های رایج مدل‌های فونداسیون (و کاربرد آنها) 🧾

در زیر یک جدول مقایسه‌ای کاربردی و کمی ناقص آورده شده است. این «لیست واقعی» نیست، بلکه بیشتر شبیه چیزی است که مردم در طبیعت انتخاب می‌کنند.

نوع ابزار / مدل مخاطب قیمت-محور چرا کار می‌کند؟
LLM اختصاصی (به سبک چت) تیم‌هایی که سرعت و زیبایی می‌خواهند مبتنی بر استفاده / اشتراک دنبال کردن عالی دستورالعمل‌ها، عملکرد عمومی قوی، معمولاً بهترین حالت «خارج از چارچوب» 😌
LLM با وزن آزاد (قابل میزبانی خودکار) سازندگانی که می‌خواهند کنترل داشته باشند هزینه مادون قرمز (و سردرد) قابل تنظیم، سازگار با حریم خصوصی، می‌تواند به صورت محلی اجرا شود... اگر دوست دارید نیمه‌شب‌ها ور بروید
مولد تصویر پخش‌شده خلاقان، تیم‌های طراحی از رایگان تا پولی ترکیب عالی تصاویر، تنوع سبک، گردش‌های کاری تکراری (همچنین: ممکن است انگشتان دست خوب عمل نکنند) ✋😬 ( هو و همکاران، ۲۰۲۰ ، رومباخ و همکاران، ۲۰۲۱ )
مدل چندوجهی «بینایی-زبان» برنامه‌هایی که تصاویر + متن را می‌خوانند مبتنی بر استفاده به شما امکان می‌دهد در مورد تصاویر، اسکرین‌شات‌ها، نمودارها سؤال بپرسید - به طرز شگفت‌آوری مفید است ( رادفورد و همکاران، 2021 )
مدل فونداسیون جاسازی شده جستجو + سیستم‌های RAG هزینه پایین برای هر تماس متن را برای جستجوی معنایی، خوشه‌بندی و توصیه به بردار تبدیل می‌کند - انرژی MVP بی‌صدا ( کارپوخین و همکاران، ۲۰۲۰ ، دوز و همکاران، ۲۰۲۴ )
مدل پایه تبدیل گفتار به متن مراکز تماس، سازندگان مبتنی بر استفاده / محلی رونویسی سریع، پشتیبانی چندزبانه، به اندازه کافی خوب برای صداهای نویزدار (معمولاً) 🎙️ ( زمزمه )
مدل پایه تبدیل متن به گفتار تیم‌های محصول، رسانه‌ها مبتنی بر استفاده تولید صدای طبیعی، سبک‌های صدا، روایت - می‌تواند بسیار واقعی و وهم‌آلود شود ( شن و همکاران، ۲۰۱۷ )
LLM متمرکز بر کد توسعه‌دهندگان مبتنی بر استفاده / اشتراک در الگوهای کد، اشکال‌زدایی، اصلاح کدها بهتر عمل می‌کند... هرچند هنوز ذهن‌خوان نیست 😅

توجه کنید که «مدل پایه» فقط به معنای «چت‌بات» نیست. جاسازی‌ها و مدل‌های گفتاری نیز می‌توانند شبیه به مدل پایه باشند، زیرا آنها گسترده و قابل استفاده مجدد در بین وظایف مختلف هستند ( بوماسانی و همکاران، 2021 ، NIST ).

۷) نگاه دقیق‌تر: نحوه یادگیری مدل‌های پایه زبان (نسخه vibe) 🧠🧃

مدل‌های پایه زبان (که اغلب LLM نامیده می‌شوند) معمولاً بر روی مجموعه‌های عظیمی از متن آموزش داده می‌شوند. آنها با پیش‌بینی توکن‌ها یاد می‌گیرند ( براون و همکاران، ۲۰۲۰ ). همین. هیچ راز پنهانی وجود ندارد.

اما نکته‌ی جالب این است که پیش‌بینی توکن‌ها، مدل را مجبور به یادگیری ساختار ( CSET ) می‌کند:

  • دستور زبان و نحو

  • روابط موضوعی

  • الگوهای استدلال‌مانند (گاهی)

  • توالی‌های فکری رایج

  • چگونه مردم مسائل را توضیح می‌دهند، بحث می‌کنند، عذرخواهی می‌کنند، مذاکره می‌کنند، آموزش می‌دهند

مثل این است که یاد بگیرید میلیون‌ها مکالمه را تقلید کنید بدون اینکه «درک» کنید انسان‌ها چطور این کار را انجام می‌دهند. که به نظر می‌رسد نباید کار کند... و با این حال همچنان کار می‌کند.

یک اغراق کوچک: اساساً مثل این است که نوشته‌های انسان را در یک مغز غول‌پیکرِ احتمالاتی فشرده کنیم.
از طرف دیگر، این استعاره کمی نفرین شده است. اما ما حرکت می‌کنیم 😄

۸) نگاه دقیق‌تر: مدل‌های انتشار (چرا تصاویر متفاوت عمل می‌کنند) 🎨🌀

مدل‌های پایه تصویر اغلب انتشار ( هو و همکاران، 2020 ، رومباخ و همکاران، 2021 ).

ایده خام:

  1. به تصاویر نویز اضافه کنید تا جایی که عملاً شبیه تصاویر ثابت تلویزیونی شوند

  2. یک مدل را آموزش دهید تا آن نویز را گام به گام معکوس کند

  3. در زمان تولید، با نویز شروع کنید و با یک اشاره، آن را به تصویری «حذف نویز» کنید ( هو و همکاران، 2020 )

به همین دلیل است که تولید تصویر مانند «ظهور» یک عکس به نظر می‌رسد، با این تفاوت که عکس، اژدهایی است که کفش کتانی پوشیده و در راهروی سوپرمارکت ایستاده است 🛒🐉

مدل‌های انتشار خوب هستند زیرا:

  • آنها تصاویری با کیفیت بالا تولید می‌کنند

  • آنها می‌توانند به شدت توسط متن هدایت شوند

  • آنها از اصلاح مکرر (تغییرات، رنگ‌آمیزی مجدد، ارتقاء مقیاس) پشتیبانی می‌کنند ( رومباخ و همکاران، 2021 )

آنها همچنین گاهی اوقات با موارد زیر دست و پنجه نرم می‌کنند:

  • رندر متن درون تصاویر

  • جزئیات دقیق آناتومی

  • هویت ثابت شخصیت در صحنه‌های مختلف (در حال بهبود است، اما هنوز هم وجود دارد)

۹) نگاه دقیق‌تر: مدل‌های فونداسیون چندوجهی (متن + تصاویر + صدا) 👀🎧📝

مدل‌های بنیادی چندوجهی با هدف درک و تولید انواع مختلف داده ارائه می‌شوند:

چرا این موضوع در زندگی واقعی اهمیت دارد:

  • پشتیبانی مشتری می‌تواند اسکرین‌شات‌ها را تفسیر کند

  • ابزارهای دسترسی می‌توانند تصاویر را توصیف کنند

  • اپلیکیشن‌های آموزشی می‌توانند نمودارها را توضیح دهند

  • سازندگان می‌توانند فرمت‌ها را به سرعت ریمیکس کنند

  • ابزارهای تجاری می‌توانند اسکرین‌شات داشبورد را «بخوانند» و آن را خلاصه کنند

در باطن، سیستم‌های چندوجهی اغلب نمایش‌ها را با هم تراز می‌کنند:

  • تبدیل یک تصویر به جاسازی‌ها

  • تبدیل متن به جاسازی‌ها

  • یک فضای مشترک را یاد بگیرید که در آن «گربه» با پیکسل‌های گربه مطابقت دارد 😺 ( رادفورد و همکاران، ۲۰۲۱ )

همیشه شیک نیست. بعضی وقت‌ها مثل لحاف دوخته شده است. اما جواب می‌دهد.

۱۰) تنظیم دقیق در مقابل راهنمایی در مقابل RAG (نحوه تطبیق مدل پایه) 🧰

اگر می‌خواهید یک مدل بنیادی را برای یک حوزه خاص (حقوقی، پزشکی، خدمات مشتری، دانش داخلی) عملی کنید، چند اهرم دارید:

راهنمایی 🗣️

سریع‌ترین و ساده‌ترین.

  • مزایا: بدون نیاز به آموزش، تکرار فوری

  • معایب: می‌تواند متناقض باشد، محدودیت‌های زمینه‌ای دارد، باعث شکنندگی می‌شود

تنظیم دقیق 🎯

مدل را با مثال‌هایتان بیشتر آموزش دهید.

  • مزایا: رفتار سازگارتر، زبان دامنه بهتر، می‌تواند طول اعلان را کاهش دهد

  • معایب: هزینه، الزامات کیفیت داده، خطر بیش‌برازش، نگهداری

تنظیم سبک (LoRA / آداپتورها) 🧩

نسخه‌ای کارآمدتر از تنظیم دقیق ( هو و همکاران، 2021 ).

  • مزایا: ارزان‌تر، ماژولار، تعویض آسان‌تر

  • معایب: هنوز به آموزش و ارزیابی نیاز دارد

RAG (نسل افزوده بازیابی) 🔎

این مدل اسناد مرتبط را از پایگاه دانش شما دریافت می‌کند و با استفاده از آنها پاسخ می‌دهد ( لوئیس و همکاران، ۲۰۲۰ ).

  • مزایا: دانش به‌روز، استنادهای داخلی (در صورت پیاده‌سازی)، آموزش مجدد کمتر

  • معایب: کیفیت بازیابی می‌تواند باعث موفقیت یا شکست آن شود، به قطعه‌بندی خوب + جاسازی نیاز دارد

حرف واقعی: بسیاری از سیستم‌های موفق، راهنمایی و RAG را با هم ترکیب می‌کنند. تنظیم دقیق قدرتمند است، اما همیشه ضروری نیست. مردم خیلی سریع به آن توجه می‌کنند چون چشمگیر به نظر می‌رسد 😅

۱۱) خطرات، محدودیت‌ها و بخش «لطفاً این را کورکورانه اجرا نکنید» 🧯😬

مدل‌های Foundation قدرتمند هستند، اما مانند نرم‌افزارهای سنتی پایدار نیستند. آن‌ها بیشتر شبیه… یک کارآموز با استعداد با مشکل اعتماد به نفس هستند.

محدودیت‌های کلیدی برای برنامه‌ریزی:

توهمات 🌀

مدل‌ها ممکن است اختراع کنند:

اقدامات کاهشی:

  • RAG با زمینه‌ی مبتنی بر داده ( لوئیس و همکاران، ۲۰۲۰ )

  • خروجی‌های محدود (طرحواره‌ها، فراخوانی‌های ابزار)

  • دستور صریح «حدس نزن»

  • لایه‌های تأیید (قوانین، بررسی‌های متقابل، بررسی انسانی)

تعصب و الگوهای مضر ⚠️

از آنجا که داده‌های آموزشی منعکس‌کننده‌ی انسان‌ها هستند، می‌توانید موارد زیر را دریافت کنید:

اقدامات کاهشی:

حریم خصوصی و نشت داده‌ها 🔒

اگر داده‌های محرمانه را به یک نقطه پایانی مدل وارد می‌کنید، باید بدانید:

  • چگونه ذخیره می‌شود؟

  • آیا برای آموزش استفاده می‌شود؟

  • چه نوع ثبت وقایعی وجود دارد؟

  • چه چیزی نیازهای سازمانی شما را کنترل می‌کند ( NIST AI RMF 1.0 )

اقدامات کاهشی:

تزریق سریع (مخصوصاً با RAG) 🕳️

اگر مدل متن غیرقابل اعتمادی را بخواند، آن متن می‌تواند سعی در دستکاری آن داشته باشد:

اقدامات کاهشی:

نمی‌خواهم شما را بترسانم. فقط... بهتر است بدانید کفپوش‌ها کجا جیرجیر می‌کنند.

۱۲) نحوه انتخاب یک مدل فونداسیون برای مورد استفاده شما 🎛️

اگر در حال انتخاب یک مدل پایه (یا ساختن بر اساس آن) هستید، با این نکات شروع کنید:

تعریف کنید که چه چیزی تولید می‌کنید 🧾

  • فقط متن

  • تصاویر

  • صوتی

  • چندوجهی مختلط

معیار واقع‌بینی خود را تنظیم کنید 📌

اگر به دقت بالایی نیاز دارید (مالی، بهداشتی، حقوقی، ایمنی):

هدف تأخیر خود را تعیین کنید ⚡

چت فوری است. خلاصه‌سازی دسته‌ای می‌تواند کندتر باشد.
اگر به پاسخ فوری نیاز دارید، اندازه مدل و میزبانی اهمیت دارد.

حریم خصوصی نقشه و الزامات انطباق 🔐

برخی از تیم‌ها نیاز دارند:

بودجه متعادل - و صبر و شکیبایی عملیاتی 😅

میزبانی مستقل (Self-hosting) کنترل را فراهم می‌کند اما پیچیدگی را نیز افزایش می‌دهد.
APIهای مدیریت‌شده آسان هستند اما می‌توانند گران‌قیمت و کمتر قابل تنظیم باشند.

یک نکته کاربردی کوچک: ابتدا با چیزی آسان نمونه اولیه بسازید، سپس بعداً آن را محکم کنید. شروع با تنظیمات «کامل» معمولاً همه چیز را کند می‌کند.

۱۳) مدل‌های بنیادی در هوش مصنوعی مولد چیستند؟ (مدل ذهنی سریع) 🧠✨

بیایید آن را برگردانیم. مدل‌های بنیادی در هوش مصنوعی مولد چیستند؟

آنها عبارتند از:

  • مدل‌های بزرگ و عمومی که بر روی داده‌های گسترده آموزش دیده‌اند ( NIST ، Stanford CRFM )

  • قادر به تولید محتوا (متن، تصاویر، صدا و غیره) ( پروفایل هوش مصنوعی مولد NIST )

  • از طریق دستورالعمل‌ها، تنظیم دقیق و بازیابی، با بسیاری از وظایف سازگار است ( بوماسانی و همکاران، 2021 )

  • لایه پایه‌ای که به اکثر محصولات هوش مصنوعی مولد مدرن نیرو می‌بخشد

آنها یک معماری یا برند واحد نیستند. آنها دسته‌ای از مدل‌ها هستند که مانند یک پلتفرم رفتار می‌کنند.

یک مدل فونداسیون کمتر شبیه ماشین حساب و بیشتر شبیه آشپزخانه است. می‌توانید غذاهای زیادی را در آن بپزید. اگر حواستان نباشد می‌توانید نان تست را هم بسوزانید... اما آشپزخانه هنوز هم کاملاً کاربردی است 🍳🔥

۱۴) جمع‌بندی و نتیجه‌گیری ✅🙂

مدل‌های بنیادی، موتورهای قابل استفاده مجدد هوش مصنوعی مولد هستند. آن‌ها به طور گسترده آموزش داده می‌شوند، سپس از طریق تحریک، تنظیم دقیق و بازیابی ( NIST ، Stanford CRFM ) با وظایف خاص سازگار می‌شوند. آن‌ها می‌توانند شگفت‌انگیز، نامرتب، قدرتمند و گاهی اوقات مضحک باشند - همه اینها به طور همزمان.

خلاصه:

اگر در حال ساخت چیزی با هوش مصنوعی مولد هستید، درک مدل‌های فونداسیون اختیاری نیست. این کل زمینی است که ساختمان روی آن قرار دارد... و بله، گاهی اوقات کف کمی تکان می‌خورد 😅

سوالات متداول

مدل‌های فونداسیون، به زبان ساده

یک مدل پایه، یک مدل هوش مصنوعی بزرگ و همه منظوره است که بر روی داده‌های گسترده آموزش دیده است، بنابراین می‌توان از آن برای بسیاری از وظایف استفاده مجدد کرد. به جای ساخت یک مدل برای هر کار، شما با یک مدل «پایه» قوی شروع می‌کنید و آن را در صورت نیاز تطبیق می‌دهید. این تطبیق اغلب از طریق ایجاد انگیزه، تنظیم دقیق، بازیابی (RAG) یا ابزارها اتفاق می‌افتد. ایده اصلی، وسعت به علاوه قابلیت هدایت است.

چگونه مدل‌های بنیادی با مدل‌های سنتی هوش مصنوعی مختص به وظیفه متفاوت هستند؟

هوش مصنوعی سنتی اغلب برای هر وظیفه، مانند تحلیل احساسات یا ترجمه، یک مدل جداگانه آموزش می‌دهد. مدل‌های بنیادی این الگو را برعکس می‌کنند: یک بار پیش‌آموزش می‌دهند، سپس در بسیاری از ویژگی‌ها و محصولات دوباره استفاده می‌کنند. این می‌تواند تلاش تکراری را کاهش داده و تحویل قابلیت‌های جدید را سرعت بخشد. نکته منفی این است که آنها می‌توانند نسبت به نرم‌افزارهای کلاسیک کمتر قابل پیش‌بینی باشند، مگر اینکه محدودیت‌ها و آزمایش‌ها را اضافه کنید.

مدل‌های بنیادی در هوش مصنوعی مولد

در هوش مصنوعی مولد، مدل‌های بنیادی، سیستم‌های پایه‌ای هستند که می‌توانند محتوای جدیدی مانند متن، تصاویر، صدا، کد یا خروجی‌های چندوجهی تولید کنند. آن‌ها محدود به برچسب‌گذاری یا طبقه‌بندی نیستند؛ آن‌ها پاسخ‌هایی تولید می‌کنند که شبیه کار ساخته‌ی دست بشر است. از آنجایی که آن‌ها الگوهای گسترده‌ای را در طول پیش‌آموزش یاد می‌گیرند، می‌توانند انواع و قالب‌های زیادی از اعلان‌ها را مدیریت کنند. آن‌ها «لایه‌ی پایه» پشت اکثر تجربیات مولد مدرن هستند.

نحوه یادگیری مدل‌های بنیادی در طول پیش‌آموزش

بیشتر مدل‌های پایه زبان با پیش‌بینی نشانه‌ها، مانند کلمه بعدی یا کلمات گمشده در متن، یاد می‌گیرند. همین هدف ساده آنها را به درونی‌سازی ساختار مانند دستور زبان، سبک و الگوهای رایج توضیح سوق می‌دهد. آنها همچنین می‌توانند مقدار زیادی از دانش جهانی را جذب کنند، هرچند نه همیشه به طور قابل اعتماد. نتیجه، یک نمایش کلی قوی است که می‌توانید بعداً آن را به سمت کار خاص هدایت کنید.

تفاوت بین راهنمایی، تنظیم دقیق، LoRA و RAG

دستورالعمل‌دهی سریع‌ترین راه برای هدایت رفتار با استفاده از دستورالعمل‌ها است، اما می‌تواند شکننده باشد. تنظیم دقیق، مدل را بیشتر بر اساس مثال‌های شما برای رفتار سازگارتر آموزش می‌دهد، اما هزینه و نگهداری را افزایش می‌دهد. LoRA/آداپتورها یک رویکرد تنظیم دقیق سبک‌تر هستند که اغلب ارزان‌تر و ماژولارتر هستند. RAG اسناد مرتبط را بازیابی می‌کند و پاسخ مدل را با استفاده از آن زمینه ارائه می‌دهد، که به تازگی و پایه‌گذاری کمک می‌کند.

چه زمانی به جای تنظیم دقیق از RAG استفاده کنیم؟

RAG اغلب زمانی که به پاسخ‌هایی مبتنی بر اسناد فعلی یا پایگاه دانش داخلی خود نیاز دارید، انتخاب قدرتمندی است. این روش می‌تواند با ارائه زمینه مرتبط به مدل در زمان تولید، «حدس زدن» را کاهش دهد. تنظیم دقیق زمانی که به سبک، عبارت‌بندی دامنه یا رفتاری ثابت نیاز دارید که دستورالعمل نمی‌تواند به طور قابل اعتمادی تولید کند، مناسب‌تر است. بسیاری از سیستم‌های عملی قبل از رسیدن به تنظیم دقیق، دستورالعمل + RAG را ترکیب می‌کنند.

چگونه توهمات را کاهش دهیم و پاسخ‌های قابل اعتمادتری دریافت کنیم

یک رویکرد رایج، پایه‌گذاری مدل با بازیابی (RAG) است تا به زمینه ارائه شده نزدیک بماند. همچنین می‌توانید خروجی‌ها را با طرحواره‌ها محدود کنید، برای مراحل کلیدی فراخوانی ابزار را الزامی کنید و دستورالعمل‌های صریح «حدس نزنید» را اضافه کنید. لایه‌های تأیید نیز مهم هستند، مانند بررسی قوانین، بررسی متقابل و بررسی انسانی برای موارد استفاده با ریسک بالاتر. با مدل مانند یک یاور احتمالی رفتار کنید، نه به عنوان یک منبع حقیقت به طور پیش‌فرض.

بزرگترین خطرات مربوط به مدل‌های فونداسیون در تولید

خطرات رایج شامل توهم، الگوهای جانبدارانه یا مضر از داده‌های آموزشی و نشت حریم خصوصی در صورت مدیریت ضعیف داده‌های حساس است. سیستم‌ها همچنین می‌توانند در برابر تزریق سریع آسیب‌پذیر باشند، به خصوص هنگامی که مدل متن غیرقابل اعتماد را از اسناد یا محتوای وب می‌خواند. اقدامات کاهشی معمولاً شامل مدیریت، تیم قرمز، کنترل دسترسی، الگوهای ارسال ایمن‌تر و ارزیابی ساختاریافته است. برای این خطرات از قبل برنامه‌ریزی کنید تا اینکه بعداً وصله‌ها را نصب کنید.

تزریق سریع و دلیل اهمیت آن در سیستم‌های RAG

تزریق سریع زمانی است که متن غیرقابل اعتماد سعی می‌کند دستورالعمل‌هایی مانند «نادیده گرفتن دستورالعمل‌های قبلی» یا «افشا کردن اسرار» را نادیده بگیرد. در RAG، اسناد بازیابی شده می‌توانند حاوی آن دستورالعمل‌های مخرب باشند و اگر مراقب نباشید، مدل ممکن است از آنها پیروی کند. یک رویکرد رایج، جداسازی دستورالعمل‌های سیستم، پاکسازی محتوای بازیابی شده و تکیه بر سیاست‌های مبتنی بر ابزار به جای صرفاً دستورالعمل‌ها است. آزمایش با ورودی‌های خصمانه به آشکار شدن نقاط ضعف کمک می‌کند.

چگونه یک مدل پایه برای مورد استفاده خود انتخاب کنیم

با تعریف آنچه که باید تولید کنید شروع کنید: متن، تصاویر، صدا، کد یا خروجی‌های چندوجهی. سپس معیار واقعیت خود را تعیین کنید - حوزه‌های با دقت بالا اغلب به پایه‌گذاری (RAG)، اعتبارسنجی و گاهی اوقات بررسی انسانی نیاز دارند. تأخیر و هزینه را در نظر بگیرید، زیرا یک مدل قوی که کند یا گران است، می‌تواند به سختی عرضه شود. در نهایت، حریم خصوصی و انطباق با الزامات را برای گزینه‌ها و کنترل‌های استقرار ترسیم کنید.

منابع

  1. موسسه ملی استاندارد و فناوری (NIST) - مدل بنیادی (اصطلاح واژه‌نامه) - csrc.nist.gov

  2. موسسه ملی استاندارد و فناوری (NIST) - NIST AI 600-1: پروفایل هوش مصنوعی مولد - nvlpubs.nist.gov

  3. موسسه ملی استانداردها و فناوری (NIST) - NIST AI 100-1: چارچوب مدیریت ریسک هوش مصنوعی (AI RMF 1.0) - nvlpubs.nist.gov

  4. مرکز تحقیقات استنفورد در مورد مدل‌های بنیادی (CRFM) - گزارش - crfm.stanford.edu

  5. arXiv - درباره فرصت‌ها و خطرات مدل‌های بنیاد (بوماسانی و همکاران، 2021) - arxiv.org

  6. arXiv - مدل‌های زبانی، یادگیرندگان کم‌یاب هستند (براون و همکاران، ۲۰۲۰) - arxiv.org

  7. arXiv - تولید افزوده بازیابی برای وظایف پردازش زبان طبیعی دانش‌محور (لوئیس و همکاران، ۲۰۲۰) - arxiv.org

  8. arXiv - LoRA: تطبیق رتبه پایین مدل‌های زبانی بزرگ (هو و همکاران، 2021) - arxiv.org

  9. arXiv - BERT: پیش‌آموزش ترانسفورماتورهای دوطرفه عمیق برای درک زبان (Devlin و همکاران، ۲۰۱۸) - arxiv.org

  10. arXiv - مدل‌های زبانی تنظیم‌شده دقیق، یادگیرندگان بدون خطا هستند (وی و همکاران، 2021) - arxiv.org

  11. کتابخانه دیجیتال ACM - بررسی توهم در تولید زبان طبیعی (جی و همکاران، 2023) - dl.acm.org

  12. arXiv - یادگیری مدل‌های بصری قابل انتقال از نظارت زبان طبیعی (رادفورد و همکاران، 2021) - arxiv.org

  13. arXiv - مدل‌های احتمالی انتشار نویززدایی (هو و همکاران، ۲۰۲۰) - arxiv.org

  14. arXiv - سنتز تصویر با وضوح بالا با مدل‌های انتشار پنهان (رومباخ و همکاران، ۲۰۲۱) - arxiv.org

  15. arXiv - بازیابی متن متراکم برای پاسخ به سوالات دامنه باز (کارپوخین و همکاران، 2020) - arxiv.org

  16. arXiv - کتابخانه Faiss (Douze et al., 2024) - arxiv.org

  17. OpenAI - معرفی Whisper - openai.com

  18. arXiv - سنتز طبیعی TTS با استفاده از WaveNet شرطی‌سازی شده بر اساس پیش‌بینی‌های طیف‌نگاره مل (شن و همکاران، ۲۰۱۷) - arxiv.org

  19. مرکز امنیت و فناوری‌های نوظهور (CSET)، دانشگاه جورج تاون - قدرت شگفت‌انگیز پیش‌بینی کلمه بعدی: توضیح مدل‌های زبانی بزرگ (بخش 1) - cset.georgetown.edu

  20. USENIX - استخراج داده‌های آموزشی از مدل‌های زبانی بزرگ (Carlini و همکاران، 2021) - usenix.org

  21. OWASP - LLM01: تزریق سریع - genai.owasp.org

  22. arXiv - بیش از آنچه خواسته‌اید: تحلیلی جامع از تهدیدهای تزریق سریع جدید برای مدل‌های زبان بزرگ یکپارچه‌شده با برنامه (Greshake و همکاران، ۲۰۲۳) - arxiv.org

  23. سری برگه‌های تقلب OWASP - برگه تقلب پیشگیری از تزریق سریع LLM - cheatsheetseries.owasp.org

جدیدترین هوش مصنوعی را در فروشگاه رسمی دستیار هوش مصنوعی پیدا کنید

درباره ما

بازگشت به وبلاگ