آیا هوش مصنوعی قابل اعتماد است؟ [ویدئو و آزمون]

پاسخ کوتاه: هوش مصنوعی به عنوان یک ویژگی قابل اعتماد نیست: بستگی به وظیفه، حلقه بازیابی و انسانی دارد که هنوز درگیر است. زمان آماده به کار یعنی اینکه آیا نقطه پایانی پاسخ داده است یا خیر؛ صداقت یعنی اینکه آیا پاسخ درست بوده است یا خیر. وقتی خطایی ارزان یا قابل جبران است از آن استفاده کنید؛ وقتی خطایی پرهزینه است، سرعت را کم کنید.

نکات کلیدی:

پاسخگویی: نام فرد بررسی‌کننده، چه کسی می‌تواند آن را متوقف کند و چه کسی مسئول است را ذکر کنید.

شفافیت: قطعه بازیابی شده را بررسی کنید، در غیر این صورت هنوز در ابهام هستید.

قابلیت حسابرسی: اعلان‌ها، تکه‌های بازیابی شده و ارسال‌ها را ثبت می‌کند تا بتوان خطاهای رخ داده را ردیابی کرد.

مقاومت در برابر سوءاستفاده: در مورد سوالات مالی شکست بخورید؛ هرگز عدد، پنجره یا سیاستی اختراع نکنید.

نتایج تشریحی: یک آزمون تشریحی ۲۰ سوالی را به عنوان یک نقشه در نظر بگیرید، نه یک مدرک ۹۵٪.

مقالاتی که شاید بعد از این مطلب دوست داشته باشید بخوانید:

🔗 نحوه استفاده از هوش مصنوعی در زندگی روزمره
روش‌های عملی را کشف کنید که هوش مصنوعی می‌تواند وظایف و روال‌های روزمره را ساده کند.

🔗 نحوه استفاده از هوش مصنوعی در محل کار
روش‌های عملی برای بهبود بهره‌وری و کارایی با هوش مصنوعی را بیاموزید.

🔗 آیا هوش مصنوعی می‌تواند خودش فکر کند؟
بررسی کنید که آیا هوش مصنوعی واقعاً می‌تواند مستقل فکر کند و استدلال کند.

انواع هوش مصنوعی چیست؟ انواع اصلی هوش مصنوعی، قابلیت‌ها و تفاوت‌های کلیدی آنها را بشناسید.

اصلاً «قابل اعتماد» چه معنایی دارد وقتی دستگاه یک طوطی آماری است؟

قابلیت اطمینان، در گفتار روزمره، به این معنی است که می‌توانید به چیزی تکیه کنید.

با اتوماسیونی که صحبت می‌کند، انبوهی از ویژگی‌های مختلف زیر یک کلمه پنهان می‌شوند. واقعیت. ثبات. کالیبراسیون - اینکه آیا اطمینان مدل با احتمال درست بودن آن مطابقت دارد یا اینکه فقط... مطمئن به نظر می‌رسد. ایمنی. زمان آماده به کار. حساسیت سریع. رفتار در موارد بحرانی. رفتار پس از تغییر توزیع، زمانی که دنیای واقعی دنیای آموزش نیست. هیچ‌کدام از این‌ها با هم شکست نمی‌خورند. این بخشی است که مردم از آن صرف نظر می‌کنند.

یک چت‌بات می‌تواند تمام هفته «فعال» باشد و هنوز هم بعدازظهر سه‌شنبه اشتباه کند. یک کمک‌خلبان کدنویس می‌تواند در نوشتن کلیشه‌ای خوب باشد و سپس یک API را که دقیقاً شبیه API اصلی است، در توهم ببیند. استعاره‌ای که مردم به آن متوسل می‌شوند «یک همکار تازه‌کار» است. این یک استعاره ناقص است - تازه‌کارها خجالت می‌کشند - اما از «پیشگو» به واقعیت نزدیک‌تر است.

آزمون زنده در مورد اینکه چه چیزی، برای چه کسیو با چه حلقه‌ای دور آن انجام می‌شود، قابل اعتماد است. در غیر این صورت، شما در حال ارزیابی یک مخلوط‌کن بر اساس این هستید که آیا می‌تواند مالیات را پرداخت کند یا خیر.

آپتایم به معنای صداقت نیست - دو نوع مختلف از «قابلیت اطمینان»

آدم‌های طرفدار عملیات و آدم‌های طرفدار حقیقت از یک کلمه استفاده می‌کنند و حرف‌هایشان جای همدیگر را می‌گیرد.

آپتایم یعنی «آیا دستگاه نهایی پاسخ داد؟». صداقت یعنی «آیا پاسخ درست بود؟». مدیریت به هر دو اهمیت می‌دهد و ریسک مدل در شکاف زشت قرار دارد. می‌توانید سرویسی داشته باشید که هرگز پلک نمی‌زند و همچنان یک دروغ روان به تیکت مشتری ارسال کند. از نظر SRE قابل اعتماد باشد. از نظر «لطفاً سیاست بازپرداخت اختراع نکنید» قابل اعتماد نباشد.

فکر کنم این نکته واضح است که نوشته شده. ساعت ۴ بعد از ظهر که پاسخ سریع است و صف خیلی شلوغ است، دیگر واضح نیست. سرعت مثل مهارت به نظر می‌رسد. قبلاً کندی به این معنی بود که کسی فکر می‌کند. حالا سرعت نشانه‌ی این است که هیچ‌کس فکر نمی‌کند.

ایمنی یکی دیگر از محورهاست. مدلی که از فرار از زندان ناخوشایند امتناع می‌کند، از نظر ارزیابی ایمنی «قابل اعتماد» است و ممکن است همچنان خلاصه‌ای از یادداشت‌های شما را خراب کند.

روان و اشتباه گفتن بدتر از ناشیانه و رک بودن است

این مشکل اعتماد به نفس است، و چیزی است که آزاردهنده است.

دقت و روانی کلام از هم جدا شدند و روانی کلام، خانه را نگه داشت. یک مدرک کارشناسی ارشد مدیریت بازرگانی به شما ریتم می‌دهد، در جاهای درست طفره می‌رود، شاید یک شکل استنادی جعلی اما زیبا. مغز شما می‌خواند "این شخص می‌داند". اما این یک شخص نیست، و کالیبراسیون اغلب وحشتناک است - اعتماد به نفس بالا، حقیقت متوسط، مانند یک سخنرانی اصلی ارائه می‌شود.

یک پاسخ اشتباه ناشیانه شما را مشکوک می‌کند. یک پاسخ اشتباه روان باعث می‌شود دیگر بررسی نکنید. این تفاوت کوچکی نیست؛ کل داستان در یک جمله‌ی کمی زننده خلاصه می‌شود.

تعصب هم در این مورد دخیل است، نه همیشه به عنوان یک تهمت، بلکه بیشتر به عنوان یک پیش‌فرض در مورد اینکه چه کسی در اتاق است و کدام طعم انگلیسی خنثی محسوب می‌شود. مردم فریب می‌خورند زیرا زبان قدیمی‌ترین رابط اعتماد ماست. اگر مانند یک خلاصه صحبت کند، ما هم مانند یک خلاصه با آن رفتار می‌کنیم. من مدام می‌خواهم در مورد این موضوع بدبین‌تر باشم. سپس یک خلاصه واضح می‌خوانم و شانه‌هایم می‌افتد. وقتی وارد جلسه می‌شوم، خلاصه به نظر تمام شده می‌آید. آن جمله بیش از حد کار می‌کند، و با این حال: اینگونه است که فرد ناموفق وارد دسته می‌شود.

قابلیت اطمینان بر اساس موقعیت، نه بر اساس برند

برندها حواس‌پرتی ایجاد می‌کنند. مقایسه‌ای که دوام می‌آورد، کار را راه می‌اندازد. صف‌ها با هم بحث می‌کنند. اشکالی ندارد.

به هر حال. اگر ابزار مورد علاقه‌تان در طراحی ماهر است و نیمه‌شب از آن برای راحتی قانونی درخواست می‌کنید، این یک ارتقا نیست. این نقشه‌ای است که می‌گوید از آن تخطی کرده‌اید.

توهم، رانش، و نوعی اشتباه آرام

توهم به دلیل جذابیتش تیتر خبرها می‌شود: کتابی که وجود ندارد، عملکردی که هرگز عرضه نشد، بندی از سیاست با عددی که رسمی به نظر می‌رسد.

«رانش» کمتر سینمایی است. دنیا حرکت می‌کند. بقایای مدل باقی می‌ماند. شما سوالی می‌پرسید که به زمینه جدیدی نیاز داشت و پاسخی منظم از حال و هوای قبلی دریافت می‌کنید. من تقریباً آنجا نوشتم «از دورانی دیگر»، که اغراقی است که این موضوع به دنبال دارد. این دوران، دوران دیگری نیست. فقط الان نیست.

اشتباهِ بی‌سروصدا چیزی است که بیشتر به آن اهمیت می‌دهم. خلاصه‌ای که استثنا را حذف می‌کند. تعبیری که «شاید» را به «باید» ارتقا می‌دهد. واقعیت می‌تواند «از نظر فنی خوب» باشد در حالی که معنی آن تغییر کرده است.

حساسیت سریع اوضاع را بدتر می‌کند. اگر بسته‌بندی را عوض کنید، «حقایق» جلوه می‌کنند. اگر مثل یک شکاک بپرسید، طفره می‌روید. اگر مثل یک رئیسِ عجول بپرسید، سریع ادعای بی‌اساس می‌کنید. اگر در ارزیابی‌تان فقط از یک لباس استفاده می‌کنید، ارزیابی‌تان کمی دروغ است. ببخشید.

فرار از زندان‌ها در حاشیه قرار دارند و من یک فیلم با موضوع سرقت نمی‌خواهم. اگر بتوان سیستمی را متقاعد کرد که آداب و رسوم خود را کنار بگذارد، اعتبار فقط به حقیقت بستگی ندارد؛ بلکه به این هم بستگی دارد که آیا نرده‌های محافظ یک حلقه هستند یا یک پوستر.

آموزش‌های باقی‌مانده، دانش کهنه، و اینکه چرا اتصال به زمین یک عصای جادویی نیست

مدل‌های مولد روی یک توده آموزش داده می‌شوند، سپس به سه‌شنبه شما اشاره می‌کنند. بازیابی تلاشی بالغانه برای اتصال زمان حال به آن توده است. پایه‌گذاری به معنای «پاسخ از این است، نه از مه». وقتی شکست می‌خورد، مؤدبانه شکست می‌خورد.

شکست کلاسیک: دستگاه بازیابی اطلاعات، سندی را که نزدیک بود به هدف بخورد، برمی‌دارد. مولد اطلاعات با خونسردی کامل آن را می‌نویسد. شما یک شیء به شکل منبع می‌بینید و غریزه بررسی شما از کار می‌افتد. من این کار را می‌کنم. شما احتمالاً این کار را می‌کنید. ایده استناد درست است؛ پیاده‌سازی آن فقط به اندازه خودِ هدف خوب است.

دانش کهنه، نشتی دیگری است. برخی از وظایف به وضعیت زنده نیاز دارند - قیمت‌ها، موجودی، متن فعلی یک سیاست. برخی به یک مهارت پایدار نیاز دارند، مانند نحوه ساختاربندی یک یادداشت. این موارد را با هم ترکیب کنید و به یک پاسخ بسیار مطمئن در مورد جهانی که قبلاً تغییر کرده است، خواهید رسید. تغییر توزیع نام بالغ شده است: توزیع زنده، توزیع آموزشی نیست و موارد حاشیه‌ای در این شکاف قرار دارند.

یک نکته‌ی دیگر، که با یک خط فاصله‌ی اشتباه گفتم چون یادداشت‌های من این‌طور به نظر می‌رسند: اتصال به زمین یک کف است - نه یک هاله. اگر نمی‌توانید تکه‌ی بازیابی شده را بررسی کنید، هنوز در مه هستید، فقط با نورپردازی بهتر.

تئاتر ارزیابی: چرا یک نسخه آزمایشی، آزمونی وحشتناک است؟

دموها نورپردازی هستند. بنچمارک‌ها کمی صریح‌تر هستند، و هنوز کار شما نیستند.

یک دستور ساده و وظیفه‌ای که مدل هزاران نمونه مشابه آن را دیده است - البته که واضح به نظر می‌رسد. ارزیابی که فقط آن را اندازه‌گیری می‌کند، در واقع یک نمایش صحنه‌ای را اندازه‌گیری می‌کند. گردش‌های کاری زنده دارای جایگذاری‌های درهم‌تنیده، فایل‌های گم‌شده و کاربری هستند که اولین پاسخی را که اضطراب آنها را کاهش می‌دهد، می‌پذیرد.

معیارها مهم هستند. آنها به خوبیِ تظاهرِ دسته‌ها (decks) حرکت نمی‌کنند. امتیاز جدول امتیازات، کالیبراسیون بلیط‌های شما نیست. ریسک مدل در یک شرکت این است که «وقتی این در حجم زیاد اشتباه باشد چه اتفاقی می‌افتد»، نه اینکه «آیا از یک مجموعه اطلاعات عمومی سربلند بیرون آمد». آزمون‌هایی که نیاز دارید خشک هستند: در متن بازیابی‌شده بمانید؛ به جای بلوف زدن، عدم قطعیت را علامت بزنید؛ هنگام تغییر عبارت، ثابت‌قدم باشید؛ به جای شکست در باز کردن (اختراع)، در بسته شکست بخورید (امتناع کنید، بپرسید، به تعویق بیندازید).

من دیده‌ام که مردم یک کارِ تمام‌شده‌ی چشمگیر را به عنوان مدرک قبول می‌کنند. این مثل این است که یک رستوران را «قابل اعتماد» بدانیم چون پیش‌غذایش قشنگ بوده. شاید هم همینطور باشد. شاید آشپزخانه ده دقیقه‌ی خوبی داشته است.

کمی تناقض وجود دارد: من هنوز از نسخه‌های نمایشی برای آشنایی با محیط استفاده می‌کنم. فقط خودم آن حس را استخدام نمی‌کنم.

آیا هوش مصنوعی قابل اعتماد است؟ فقط در صورتی که کسی هنوز درگیر باشد

انسان در حلقه تنها طرحی است که با حالت‌های خرابی مطابقت دارد.

اگر هیچ‌کس پاسخگو نباشد، سیستم طوری مورد استفاده قرار خواهد گرفت که انگار هست. مدیریت، نام غیرجذابی برای «چه کسی بررسی می‌کند، چه کسی می‌تواند جلوی آن را بگیرد، چه چیزی ثبت می‌شود، بعد از یک خطا چه اتفاقی می‌افتد» است. ماموران این کار را دقیق‌تر می‌کنند زیرا آنها اقدامات لازم را انجام می‌دهند، نه فقط پاراگراف‌ها. پیش‌نویسی که شما نفرستاده‌اید، بی‌ارزش است. فراخوانی ابزاری که منظورتان نبوده، بی‌ارزش است.

نام کسی که مسئول رسیدگی به پرونده است را بنویسید. اگر پاسخ «مدل» است، شما پاسخی ندارید. مدل‌ها بعد از حادثه به جلسه نمی‌روند. ابتدا یک شخص به جلسه می‌رود، یا یک جاروبرقی این کار را می‌کند و سپس یک وکیل.

بررسی‌هایی را انتخاب کنید که با شعاع انفجار مطابقت دارند. بررسی سطح غلط‌یاب املایی برای یک پست اجتماعی. بررسی منبع برای هر چیزی که ادعای واقعیت دارد. یک متخصص برای هر چیزی در مجاورت پزشکی، حقوق، اعتبار، عملیات‌های حیاتی ایمنی. برای این موارد، انسان "در حلقه" نیست. انسان حلقه است. مدل یک مقاله خرد است. این شک و تردید به عنوان یک شخصیت نیست. این سلیقه است.

الان مُد شده که چک را پشت یک دکمه‌ی ارسال براق پنهان کنند. این روزها این‌طوری تصادفاً یک شایعه را خودکار می‌کنید. اخیراً در این مورد خشک‌تر شده‌ام و کار بهتر شده است.

چگونه بپرسیم تا متوجه اشتباه شویم

شما می‌توانید این سیستم‌ها را بدون اینکه به یک شکاک حرفه‌ای در مورد نور خورشید تبدیل شوید، بررسی کنید.

• عمداً در مورد عدم قطعیت سوال کنید. «چه چیزی این را اشتباه می‌کند؟» بهتر از «آن را مطمئن کن» است.

• در صورت امکان، بازیابی را از نسلی به نسل دیگر تقسیم کنید. ابتدا به متن‌ها نگاه کنید. سپس درخواست کنید که متن را برایتان بنویسند.

• لباست را عوض کن. دوباره تعریف کن. ازش بخواه که برعکسش را استدلال کند. حساسیت سریع مثل چراغ قوه می‌ماند اگر از آن به این شکل استفاده کنی.

• محدودیت‌های اجباری: «فقط از متنی که من پیست کردم»، «اگر وجود نداشت، بگو وجود ندارد». مدل‌ها به طرز شگفت‌آوری از این موضوع پیروی می‌کنند... تا زمانی که دیگر وجود نداشته باشند. در هر صورت بررسی کنید.

• کارهایی که نیاز به تأیید دارند را ترجیح می‌دهم. کامپایلرها، لینترها، بررسی‌های طرحواره، یک جفت چشم دوم. قابلیت اطمینان عاشق یک درجه‌بندی‌کننده است.

• منتظر کشف حقیقت باشید: جزئیات بیشتر. یک چهره دقیق، یک پرونده نامگذاری شده، یک بند شماره‌گذاری شده مرتب - این جایی است که توهم دوست دارد خودنمایی کند.

• گام انسانی را در معرض دید نگه دارید. اگر رابط کاربری، چک را پنهان کند، مردم از آن صرف نظر می‌کنند. این یک نکته مثبت است، نه یک نقص اخلاقی.

هیچ‌کدام از این‌ها مدل را «درست» نمی‌کند. این باعث می‌شود که حلقه کمتر قابل اعتماد باشد. که حدس می‌زنم، حاصلضرب هم همین است.

جایی که نقشه شما را رها می‌کند

بنابراین، سوال بله/خیر فقط به عنوان یک درگاه عمل می‌کند.

آیا هوش مصنوعی قابل اعتماد است؟ نه به عنوان یک ویژگی. به عنوان یک ویژگی یک وظیفه، یک مجموعه داده، یک حلقه بازیابی، یک ارزیابی که نسخه آزمایشی نیست، و انسانی که هنوز باید منظورش را برساند. روانی کار همچنان ما را فریب خواهد داد زیرا ما حیوانات زبانی هستیم و این سیستم‌ها ماشین‌های زبانی هستند. زمان آماده به کار همچنان با حقیقت اشتباه گرفته می‌شود زیرا هر دو احساس می‌کنند که "کار کرده است". کمک خلبانان همچنان در میانه راه سردرگم می‌شوند - پیش‌نویس‌ها، خلاصه‌هایی که می‌توانید آنها را سرسری بخوانید، کدی که می‌توانید کامپایل کنید - و ناامن است وقتی که قضاوت را به پاراگرافی واگذار می‌کنیم که اهمیتی نمی‌دهد.

جایی که خطا ارزان یا قابل جبران است از آنها استفاده کنید. جایی که خطا گران تمام می‌شود، سرعت خود را کم کنید. این جواب سرراست است و ارزشش از یک شعار بیشتر است.

اگر یک مورد را در نظر بگیرید: دیگر از مدل نپرسید که آیا مطمئن است یا نه. ببینید وقتی از او می‌پرسید که چگونه ممکن است اشتباه کند چه اتفاقی می‌افتد. سپس بررسی کنید.

مثال دنیای واقعی: ساخت یک دستیار هوش مصنوعی با سیاست عضویت

سناریو

پریا مسئول بخش دانش Harbour Membership، یک نهاد تجاری ۷۰ نفره بریتانیایی برای باشگاه‌های ورزشی مستقل، است. سه نفر به سوالات اعضا پاسخ می‌دهند. منبع حقیقت یک کتابچه راهنمای ۱۸۰ صفحه‌ای است که هر سه ماه یکبار به‌روزرسانی می‌شود، به علاوه فایل‌های PDF قدیمی در یک درایو مشترک که هیچ‌کس دل پاک کردن آنها را ندارد.

رهبری قبلاً یک دستیار کمک‌راننده خریده است. نسخه آزمایشی عالی بود. آپتایم خوب بوده است. در هفته دوم، یک پیش‌نویس روان به عضو می‌گوید که می‌تواند به مدت ۱۴ روز مسدود شود و "طبق استاندارد" مبلغ پرداختی را به طور کامل پس بگیرد. این سیاست نیست. نماینده متوجه این موضوع شد زیرا آنها هنوز وقتی پای پول در میان است، دفترچه راهنما را باز می‌کنند. سوال رهبری که طوری ارسال شده که انگار بله یا خیر است، این است: آیا هوش مصنوعی قابل اعتماد است؟

پریا حکم را رد می‌کند. او با آن مثل یک نقشه برخورد می‌کند. کار «دادن پیشگویی به اعضا» نیست. کار «پیش‌نویس پاسخ از کتابچه راهنمای فعلی، نشان دادن متن و عدم موفقیت در بسته شدن در صورت عدم وجود متن» است. اگر کمک خلبان نتواند این کار را انجام دهد، این یک اسباب‌بازی برای نوشتن است، نه یک میز سیاست‌گذاری.

آنچه دستیار نیاز دارد

• کتابچه راهنمای آوریل ۲۰۲۶ به عنوان تنها مجموعه مجاز، با شماره بخش‌ها دست نخورده

• فایل PDF قدیمی مربوط به سال ۲۰۲۳ عمداً در درایو گذاشته شده بود تا بتوانند ببینند که آیا بازیابی، مورد مشکوک را پوشش می‌دهد یا خیر

• یک قانون مکتوب: هیچ داده شخصی مشتری در ابزارهای مصرفی وجود ندارد؛ هیچ ارسالی بدون دخالت انسان مجاز نیست؛ هیچ عدد، پنجره یا بند «استاندارد» اختراع نشده است

• اجازه ثبت اعلان‌ها، بخش‌های بازیابی شده و ارسال نهایی

• یک مالک مشخص (پریا) که به مجموعه تست‌ها امتیاز می‌دهد و در صورت عدم موفقیت، کمک‌خلبان را متوقف می‌کند، که این موضوع بدتر از پرتاب سکه در سوالات مربوط به پول است

• اگر ابزار از بازیابی پشتیبانی کند، قطعه بازیابی شده باید در کنار پیش‌نویس قابل مشاهده باشد. اگر اینطور نباشد، آنها بخش را با دست می‌چسبانند. اتصال به زمین بدون هیچ گذرگاه قابل بازرسی، هنوز مه آلود است.

دستورالعمل مثال

پریا این را به زبان عادی بیان می‌کند، نه به صورت یک نمایش صحنه‌ای:

فقط از روی متن‌های دفترچه راهنمای آوریل ۲۰۲۶ که به شما داده شده است، پاسخ دهید. شماره بخش را ذکر کنید. اگر پاسخ در آن متن‌ها نیست، بگویید «در دفترچه راهنمای فعلی نیست» و متوقف شوید. پنجره‌های مسدودکننده، قوانین بازپرداخت یا هزینه اختراع نکنید. «به صلاحدید باشگاه» را به «به عنوان استاندارد» ارتقا ندهید. اگر دو متن با هم در تضاد بودند، هر دو را نشان دهید و بگویید کدام یک فعلی است. شما برای یک انسان پیش‌نویس می‌نویسید که قبل از اینکه چیزی به یک عضو برسد، منبع را باز می‌کند.

سپس او دستورالعمل دوم را برای خودش نگه می‌دارد، زیرا نکته مقاله حلقه است، نه مدل:

قبل از ارسال، بخش ارجاع‌شده را باز کنید. بپرسید «چه چیزی این را اشتباه می‌کند؟» اگر پیش‌نویس شامل عددی است که در متن نیست، آن را رد کنید. اگر مثل یک رئیس با عجله پرسیدم، دوباره مثل یک شکاک بپرسید و مقایسه کنید.

یک پیش‌نویس خوب به این شکل است: «در دفترچه راهنمای فعلی نیست (آوریل ۲۰۲۶، بخش ۴.۲). فریز کردن به صلاحدید باشگاه است. بازپرداخت‌ها خودکار نیستند. افزایش دهید.» یک پیش‌نویس بد به این شکل است: «اعضا می‌توانند به مدت ۱۴ روز فریز کنند و طبق استاندارد، کل مبلغ را دریافت کنند. در دفترچه راهنما تأیید شده است.» با همان لحن. فقط یکی از این موارد، سیاست است.

چگونه آن را آزمایش کنیم

پریا قبل از اینکه به خروجی هر کمک‌خلبان نگاه کند، 20 سوال می‌نویسد. این ترتیب مهم است. یک نسخه آزمایشی، نورپردازی است. این آزمون خشک است.

این صحنه، صحنه‌ی بی‌اهمیتی نیست. این میز کار زنده است:

• هشت سوال که پاسخ آنها در یک بخش فعلی قرار دارد (سوالات آسان)

• چهار مورد تقریباً ناموفق، که در آنها متن PDF مربوط به سال ۲۰۲۳ از نظر جمله‌بندی به متن آوریل نزدیک‌تر است

• سه سوال «که در دفترچه راهنما نیست» (اختلافات مربوط به صورتحساب، یک سوال پزشکی مرتبط با «آیا این آموزش ایمن است»، یک سوال حقوقی مرتبط با تنظیم قرارداد)

• سه سوال مالی (مسدود کردن، بازپرداخت، هزینه عضویت)

• دو سوال از اعضای عادی (ساعات کاری، بیمه مربی)

دو نفر از آن بیست نفر نیز در لباس دوم، یک بار به عنوان رئیس عجول و یک بار به عنوان یک شکاک، به عنوان بررسی حساسیت سریع، دوباره مورد پرسش قرار گرفتند. این پرسش‌های مجدد ثبت شدند و در نمره 20 سؤالی لحاظ نشدند.

روبریک، که توسط پریا با کتابچه راهنما باز شده امتیازدهی شده است: یک قبولی به قانون فعلی صحیح، یک شماره بخش واقعی و بدون بند اضافی اختراع شده نیاز دارد. یک شکست آرام یک جمله فنی خوب است که استثنا را حذف کرده یا یک شاید را به یک باید تبدیل کرده است. یک شکست باز یک شماره اختراع شده یا یک PDF نزدیک به خطا است که به عنوان فعلی در نظر گرفته می‌شود. زمان آپتایم جداگانه محاسبه می‌شود، زیرا "پاسخ داد" با "اینطور بود" متفاوت است.

پذیرش برای ادامه‌ی کار: در مورد سوالات مالی، به جای «باز نشدن» از «بسته شدن» استفاده کنید. اگر کمک خلبان یک پنجره‌ی بازپرداخت اختراع کند، بلیط‌های زنده را درفت نمی‌کند. اگر کسی منبع را باز نکند، بلیط‌های زنده را هم درفت نمی‌کند.

نتیجه

نتیجه‌ی تشریحی، از یک آزمون ۲۰ سؤالی ساختگی، نه از آمار منتشر شده‌ی عضویت در هاربر.

فرضیات: یک کمک خلبان در بخش پشتیبانی؛ دفترچه راهنمای آوریل ۲۰۲۶ به علاوه فایل PDF باقی مانده از ۲۰۲۳؛ امتیاز پریا با دستورالعمل بالا متفاوت بود؛ زمان‌بندی با استفاده از یک کرونومتر تلفنی از سوال ارسال شده تا «من این را ارسال می‌کردم» انجام شد؛ زمان بررسی در حالت حلقه‌ای لحاظ شده و در حالت علامت‌گذاری نشده، عمداً حذف شده است، بنابراین مقایسه مساوی می‌ماند.

کمک‌خلبانِ کنترل‌نشده، پرسش به سبک نمایشی: به ۲۰ سوال از ۲۰ سوال، پاسخ روان داده شد (زمان آماده‌به‌کار، عالی به نظر می‌رسید). ۱۱ سوال از ۲۰ سوال، مطابق با استانداردها بودند. پنج مورد با شکست‌های خاموش مواجه شدند. چهار مورد با شکست‌های آشکار، از جمله توقف ۱۴ روزه، مواجه شدند. دو مورد از چهار شکست آشکار، به بخشی از فایل PDF سال ۲۰۲۳ اشاره داشتند. میانگین زمان لازم برای رسیدن به یک پیش‌نویسِ قابل ارسال، ۱ دقیقه بود.

همان ۲۰ سوال، دستورالعمل محدود، بخش بازیابی شده قابل مشاهده: ۱۵ سوال از ۲۰ سوال از متن ماه آوریل کاملاً صحیح بودند. سه سوال به درستی گفته بودند «در کتابچه راهنمای فعلی نیست» (موارد پزشکی و حقوقی، به علاوه یک اختلاف نظر در مورد صورتحساب)، بنابراین ۱۸ سوال از ۲۰ سوال قابل قبول بودند. دو سوال هنوز رد شدند: یکی از آنها فایل PDF تقریباً ناموفق ۲۰۲۳ را بررسی کرد و یکی یک رقم هزینه عضویت اختراع کرد که در متن نبود. میانگین زمان برای پیش‌نویس هنوز حدود ۱ دقیقه بود.

همان ۲۰ دقیقه، به‌علاوه‌ی اینکه پریا قبل از ارسال شبیه‌سازی‌شده، بخش ارجاع‌شده را باز کرد: ۱۹ از ۲۰ دقیقه قابل قبول بود. او پی‌دی‌اف نزدیک به خطا را گرفت. خطای دیگر این بود که داور یک پاراگراف را سرسری خواند و متوجه رقم ساختگی حق عضویت نشد. میانگین زمان، شامل بررسی، ۳ دقیقه بود.

فرآیند قدیمی، فقط جستجوی دفترچه راهنما، بدون کمک خلبان: ۲۰ از ۲۰ قابل قبول. میانگین ۹ دقیقه.

در این نمونه، کمک‌خلبانِ کنترل‌شده ۶ دقیقه سریع‌تر از جستجوی دفترچه راهنما (۹ منهای ۳) یا ۱۲۰ دقیقه در ۲۰ سوال بود، با ۱۹ از ۲۰ پاسخ قابل قبول به جای ۲۰ از ۲۰. کمک‌خلبانِ کنترل‌نشده ۸ دقیقه سریع‌تر (۹ منهای ۱) و در ۹ از ۲۰ پاسخ اشتباه، چه آرام و چه بلند، بود. این ۶۷٪ صرفه‌جویی در زمان نیست که شما در یک بسته‌ی فرمان قرار می‌دهید. این یک نشت ۹ خطایی است که شما می‌توانستید خودکار کنید.

هر دو نسخه رئیس‌عجول از دو سوال تکراری، بیشتر از بقیه ادعا کردند. نسخه‌های شکاک طفره رفتند. همان مدل، همان کتابچه راهنما، لباس متفاوت. پریا این را به عنوان یک یافته ثبت کرد، نه به عنوان یک ویژگی شخصیتی.

این ارقام، نمونه‌هایی از تخمین‌ها بر اساس آزمون ذکر شده، یک مجموعه کوچک، بلیط‌هایی که از یک عضو عصبانی آسان‌تر بودند، و یک منتقد که از قبل کتاب را می‌دانست، هستند. این ارقام نشان نمی‌دهند که کمک خلبان «۹۵٪ قابل اعتماد» است، یا اینکه هاربر باید یک کارمند پشت میزنشین را حذف کند. این ارقام نشان می‌دهند که زمان آماده به کار بودن سوال نبود، و بررسی سوال بود.

چه چیزی می‌تواند اشتباه پیش برود؟

• رهبری زمان درفت ۱ دقیقه‌ای را ذکر می‌کند و ۹ خطا را نادیده می‌گیرد. سرعت هنوز هم در ساعت ۴ بعد از ظهر مانند شایستگی به نظر می‌رسد.

• فایل PDF مربوط به سال ۲۰۲۳ در فهرست راهنما باقی مانده است. بازیابی همچنان آن را دریافت می‌کند. به نظر می‌رسد Grounding کامل شده و هنوز هم در آستانه‌ی از دست رفتن است.

• رابط کاربری، بخش بازیابی‌شده را پشت یک دکمه ارسال براق پنهان می‌کند. افراد دیگر دفترچه راهنما را باز نمی‌کنند، و به این ترتیب پاسخ مسدود شده به یک عضو می‌رسد.

• پریا فقط به هشت سوال آسان نمره می‌دهد چون در اسلاید زیباتر به نظر می‌رسند. ارزیابی در سالن، فقط با یک جدول.

• یک پاسخ پزشکی-مرتبط با «آیا این آموزش بی‌خطر است» مجاز است که مانند یک خلاصه به نظر برسد. نقشه گفت تقریباً هرگز. لحن گفت ادامه بده.

• گزارش‌ها غیرفعال هستند چون «احساس می‌شد اضافی است». بعد از یک خطا، هیچ‌کس نمی‌تواند ببیند کدام قسمت بازیابی شده است.

• از مدل می‌پرسند که آیا مطمئن است یا نه. مطمئن است. این هرگز آزمون نبود.

نکته کاربردی

قابلیت اطمینان، ویژگی کمک‌خلبانی که هاربر خریده نیست. این ویژگی، ویژگی ۲۰ سوال، یک کتابچه راهنمای به‌روز، یک متن قابل مشاهده و شخصی است که وقتی پای پول در میان است، همچنان منبع را باز می‌کند. تسلط، آزمون زمان آماده به کار را با موفقیت پشت سر خواهد گذاشت. حلقه تنها چیزی است که آزمون سیاست را با موفقیت پشت سر می‌گذارد.

سوالات متداول

اصلاً «قابل اعتماد» برای هوش مصنوعی مولد به چه معناست؟

قابلیت اطمینان روزمره به این معنی است که می‌توانید به چیزی تکیه کنید. با اتوماسیونی که صحبت می‌کند، مجموعه‌ای از ویژگی‌ها تحت یک کلمه پنهان می‌شوند: واقعیت، ثبات، کالیبراسیون، ایمنی، زمان آماده به کار، حساسیت سریع، موارد خاص و رفتار پس از تغییر توزیع. هیچ‌کدام از این‌ها با هم شکست نمی‌خورند. آزمایش زنده در مورد چه چیزی، برای چه کسی، و با کدام حلقه پیرامون آن قابل اعتماد است. در غیر این صورت، شما در حال ارزیابی یک مخلوط‌کن بر اساس اینکه آیا می‌تواند مالیات را انجام دهد یا خیر، هستید.

آیا هوش مصنوعی قابل اعتماد است؟

نه به عنوان یک ویژگی. یک LLM می‌تواند در یک شغل کاملاً ثابت قدم باشد و در شغل بعدی بی‌سروصدا از کار بیفتد، گاهی در همان جلسه، گاهی به این دلیل که یک ویرگول را جابجا کرده‌اید. قابلیت اطمینان ویژگی یک وظیفه، یک مجموعه داده، یک حلقه بازیابی، یک ارزیابی است که نمایشی نیست و یک انسان که هنوز باید منظورش را برساند. در جایی که یک اشتباه ارزان یا قابل جبران است از آن استفاده کنید. در جایی که یک اشتباه پرهزینه است، سرعت خود را کم کنید.

آیا زمان فعال بودن هوش مصنوعی همان صداقت است؟

خیر. آپتایم یعنی اینکه آیا نقطه پایانی پاسخ داده است یا خیر. صداقت یعنی اینکه آیا پاسخ درست بوده است یا خیر. می‌توانید سرویسی داشته باشید که هیچ‌وقت از کار نمی‌افتد و همچنان یک دروغ روان را به تیکت مشتری ارسال کند. سرعت در حالی که صف انتظار بسیار زیاد است، مانند شایستگی به نظر می‌رسد. ایمنی نیز محور دیگری است: مدلی که از جیلبریک کردن امتناع می‌کند، ممکن است همچنان خلاصه‌ای از یادداشت‌های شما را خراب کند.

چرا هوش مصنوعی سیال حتی وقتی اشتباه می‌کند، قابل اعتماد به نظر می‌رسد؟

دقت و روانی کلام از هم جدا شدند و روانی کلام، خانه را نگه داشت. یک LLM به شما ریتم، طفره رفتن، شاید یک شکل استناد جعلی اما زیبا می‌دهد، و مغز شما می‌خواند "این شخص می‌داند". کالیبراسیون اغلب وحشتناک است: اعتماد به نفس بالا، حقیقت متوسط، مانند یک سخنرانی اصلی ارائه می‌شود. یک پاسخ اشتباه ناشیانه شما را مشکوک می‌کند. یک پاسخ اشتباه روان باعث می‌شود دیگر بررسی نکنید. اگر مانند یک خلاصه صحبت کند، ما با آن مانند یک خلاصه رفتار می‌کنیم، و اینگونه است که اشتباه وارد دسته کارت‌ها می‌شود.

آیا هوش مصنوعی برای کارهای پزشکی، حقوقی یا پشتیبانی مشتری قابل اعتماد است؟

بستگی به شغل دارد، نه برند. توصیه‌های پزشکی و حقوقی تقریباً هیچ‌وقت به عنوان یک محصول به اندازه کافی خوب نیستند: مدل، یک خلاصه است و انسان، حرفه‌ای. پشتیبانی مشتری می‌تواند در یک سیاست سختگیرانه تدوین شود، اما یک شخص باید مسئولیت ارسال پول و اعتماد را بر عهده بگیرد، زیرا سیاست ابداعی و یک نه گفتن مودبانه، شکست معمول هستند. پیش‌نویس‌ها و خلاصه‌ها، اولین گام برای متنی هستند که از قبل می‌دانید. نام‌ها، شماره‌ها و جمله‌ای که ممکن است به درد بخورد را بررسی کنید.

چرا هوش مصنوعی دچار توهم می‌شود، از مسیر اصلی خود منحرف می‌شود یا کاملاً اشتباه می‌کند؟

توهم، اشتباه تند و تیزی است: کتابی که وجود ندارد، عملکردی که هرگز عرضه نشده، بندی از سیاست با عددی که رسمی به نظر می‌رسد. رانش کمتر سینمایی است: جهان حرکت می‌کند، بقایای مدل باقی می‌ماند و شما یک پاسخ منظم از آب و هوای قبلی دریافت می‌کنید. اشتباه خاموش خلاصه‌ای است که استثنا را حذف می‌کند. یا یک نقل قول که یک «شاید» را به یک «باید» ارتقا می‌دهد. واقعیت می‌تواند از نظر فنی خوب به نظر برسد در حالی که معنی آن از بین رفته است. حساسیت سریع باعث می‌شود وقتی بسته‌بندی را تغییر می‌دهید، حقایق بدرخشند.

آیا اتصال به زمین یا بازیابی، هوش مصنوعی را قابل اعتماد می‌کند؟

اتصال به زمین یعنی پاسخ از این، نه از مه. بازیابی، زمان حال را به یک توده آموزش‌دیده می‌چسباند. وقتی شکست می‌خورد، مؤدبانه شکست می‌خورد: یک سند تقریباً از دست رفته، یک نوشته‌ی آماده، و غریزه‌ی بررسی شما از کار می‌افتد. اتصال به زمین یک کف است، نه یک هاله. اگر نمی‌توانید بخش بازیابی شده را بررسی کنید، هنوز در مه هستید، فقط با نورپردازی بهتر. وظایف حالت زنده مانند قیمت‌ها یا متن سیاست را با کاردستی پایدار ترکیب کنید، و در مورد جهانی که قبلاً حرکت کرده است، پاسخی بسیار مطمئن دریافت خواهید کرد.

چرا یک نسخه آزمایشی، آزمون بدی برای سنجش قابلیت اطمینان هوش مصنوعی است؟

یک دستور ساده و وظیفه‌ای که مدل هزاران نمونه مشابه آن را دیده است، واضح به نظر خواهد رسید. گردش‌های کاری زنده، شامل چسباندن‌های درهم، فایل‌های گم‌شده و کاربری هستند که اولین پاسخی را که اضطرابش را کاهش می‌دهد، می‌پذیرد. امتیاز جدول امتیازات، کالیبراسیون روی بلیط‌های شما نیست. ریسک مدل چیزی است که وقتی این پاسخ در حجم اشتباه است، اتفاق می‌افتد، نه اینکه آیا از یک مجموعه اطلاعات عمومی عبور کرده است یا خیر. آزمون‌هایی که نیاز دارید، خشک هستند: در متن بازیابی‌شده بمانید، به جای بلوف زدن، عدم قطعیت را علامت بزنید، هنگام تغییر عبارت، ثابت‌قدم باشید و به جای اختراع، شکست بخورید.

آیا هوش مصنوعی قابل اعتماد است اگر کسی در کار نباشد؟

خیر. اگر هیچ‌کس پاسخگو نباشد، سیستم طوری استفاده خواهد شد که انگار هست. انسان در حلقه تنها طرحی است که با حالت‌های خرابی مطابقت دارد: چه کسی بررسی می‌کند، چه کسی می‌تواند آن را متوقف کند، چه چیزی ثبت می‌شود، بعد از یک خطا چه اتفاقی می‌افتد. اگر پاسخ «مدل» باشد، شما پاسخی ندارید. مدل‌ها بعد از حادثه به جلسه نمی‌روند. برای پزشکی، حقوق، اعتبار یا عملیات‌های حیاتی ایمنی، انسان حلقه است و مدل یک خلاصه است.

چگونه می‌توانم هوش مصنوعی را طوری تحریک کنم که اشتباهات را متوجه شوم؟

عمداً در مورد عدم قطعیت سوال کنید: «چه چیزی این را اشتباه می‌کند؟» بهتر از «مطمئن کردن آن» است. در صورت امکان، بازیابی را از نسلی به نسل دیگر تقسیم کنید. ابتدا به متن نگاه کنید، سپس از او بخواهید که متن را بنویسد. ظاهر متن را تغییر دهید: آن را به شکل دیگری بیان کنید، یا از او بخواهید که برعکس استدلال کند. محدودیت‌هایی مانند «فقط از متنی که من چسبانده‌ام» یا «اگر ناقص است، بگویید ناقص است» را اعمال کنید و همچنان بررسی کنید. وظایفی را که با یک تأییدکننده همراه است ترجیح دهید و به جزئیات بیشتر توجه کنید، زیرا توهم دوست دارد در آنجا خودنمایی کند.

منابع

1. NIST - nvlpubs.nist.gov

2. NIST - airc.nist.gov

3. NIST - airc.nist.gov

4. ICO - ico.org.uk

5. مرکز ملی امنیت سایبری - www.ncsc.gov.uk

6. مرکز ملی امنیت سایبری - www.ncsc.gov.uk

7. اواسپ - genai.owasp.org

جدیدترین هوش مصنوعی را در فروشگاه رسمی دستیار هوش مصنوعی پیدا کنید

درباره ما