مسئولیت توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند چیست؟

پاسخ مختصر: توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند، مسئول کل سیستم هستند، نه فقط خروجی مدل. وقتی هوش مصنوعی بر تصمیمات، کد، حریم خصوصی یا اعتماد کاربر تأثیر می‌گذارد، آنها باید برنامه‌های ایمن را انتخاب کنند، نتایج را تأیید کنند، از داده‌ها محافظت کنند، آسیب را کاهش دهند و اطمینان حاصل کنند که افراد می‌توانند اشتباهات را بررسی، لغو و اصلاح کنند.

نکات کلیدی:

تأیید : خروجی‌های اصلاح‌شده را تا زمانی که منابع، آزمایش‌ها یا بررسی‌های انسانی آنها را تأیید نکنند، غیرقابل اعتماد در نظر بگیرید.

حفاظت از داده‌ها : داده‌های فوری را به حداقل برسانید، شناسه‌ها را حذف کنید و لاگ‌ها، کنترل‌های دسترسی و فروشندگان را ایمن کنید.

انصاف : برای شناسایی کلیشه‌ها و الگوهای شکست نامتوازن، آزمون را در میان جمعیت‌ها و زمینه‌های مختلف انجام دهید.

شفافیت : استفاده از هوش مصنوعی را به وضوح مشخص کنید، محدودیت‌های آن را توضیح دهید و امکان بررسی یا درخواست تجدیدنظر توسط انسان را فراهم کنید.

پاسخگویی : قبل از راه‌اندازی، مالکان مشخصی را برای استقرار، حوادث، نظارت و بازگرداندن به حالت اولیه تعیین کنید.

مقالاتی که شاید بعد از این مطلب دوست داشته باشید بخوانید:

🔗 بهترین ابزارهای هوش مصنوعی برای توسعه‌دهندگان نرم‌افزار: برترین دستیارهای کدنویسی مبتنی بر هوش مصنوعی
برای گردش‌های کاری توسعه سریع‌تر و تمیزتر، دستیارهای برنامه‌نویسی برتر هوش مصنوعی را مقایسه کنید.

🔗 ۱۰ ابزار برتر هوش مصنوعی برای توسعه‌دهندگان جهت افزایش بهره‌وری
فهرست رتبه‌بندی‌شده‌ی ابزارهای هوش مصنوعی توسعه‌دهندگان برای کدنویسی هوشمندانه‌تر و سرعت بالاتر.

🔗 چرا هوش مصنوعی می‌تواند برای جامعه و اعتماد مضر باشد؟
آسیب‌های دنیای واقعی را توضیح می‌دهد: تعصب، حریم خصوصی، مشاغل و خطرات اطلاعات نادرست.

🔗 آیا هوش مصنوعی در تصمیم‌گیری‌های حساس زیاده‌روی کرده است؟
تعریف می‌کند که چه زمانی هوش مصنوعی از خطوط قرمز عبور می‌کند: نظارت، جعل عمیق، ترغیب، بدون رضایت.

چرا مسئولیت توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند، بیش از آنچه مردم فکر می‌کنند اهمیت دارد؟

بسیاری از اشکالات نرم‌افزاری آزاردهنده هستند. یک دکمه خراب می‌شود. یک صفحه به کندی بارگذاری می‌شود. چیزی از کار می‌افتد و همه ناله می‌کنند.

مسائل هوش مصنوعی مولد می‌توانند متفاوت باشند. آن‌ها می‌توانند ظریف باشند.

یک مدل می‌تواند در عین حال که اشتباه می‌کند، مطمئن به نظر برسد. نمایه NIST GenAI می‌تواند بدون علائم هشدار دهنده آشکار، تعصب را بازتولید کند. نمایه NIST GenAI در صورت استفاده بی‌دقت، می‌تواند داده‌های حساس را افشا کند. 10 مورد برتر OWASP برای برنامه‌های LLM هشت سوال ICO برای هوش مصنوعی مولد می‌تواند کدی تولید کند که کار می‌کند - تا زمانی که در تولید به شکلی بسیار شرم‌آور شکست بخورد. 10 مورد برتر OWASP برای برنامه‌های LLM چیزی شبیه استخدام یک کارآموز بسیار مشتاق است که هرگز نمی‌خوابد و هر از گاهی با اعتماد به نفس خیره‌کننده‌ای حقایقی را اختراع می‌کند.

به همین دلیل است که مسئولیت توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند، فراتر از پیاده‌سازی ساده است. توسعه‌دهندگان دیگر فقط سیستم‌های منطقی نمی‌سازند. آن‌ها سیستم‌های احتمالی با لبه‌های فازی، خروجی‌های غیرقابل پیش‌بینی و پیامدهای اجتماعی واقعی می‌سازند. NIST AI RMF

این بدان معناست که مسئولیت شامل موارد زیر است:

• درک محدودیت‌های مدل NIST AI RMF

• محافظت از حریم خصوصی کاربر ، راهنمای ICO در مورد هوش مصنوعی و حفاظت از داده‌ها

• کاهش خروجی‌های مضر پروفایل NIST GenAI

• بررسی دقت قبل از اعطای اعتماد پروفایل NIST GenAI

• روشن کردن نقش انسان اصول هوش مصنوعی OECD

• طراحی مسیرهای جایگزین در صورت عدم موفقیت هوش مصنوعی، اصول هوش مصنوعی OECD ، دستورالعمل‌های امن هوش مصنوعی NCSC

• مستندسازی سیستم به طور واضح اصول هوش مصنوعی OECD

می‌دانید چطور پیش می‌رود - وقتی ابزاری جادویی به نظر می‌رسد، مردم دیگر آن را زیر سوال نمی‌برند. توسعه‌دهندگان نمی‌توانند اینقدر راحت باشند.

چه چیزی باعث می‌شود نسخه خوبی از مسئولیت توسعه‌دهندگان با استفاده از هوش مصنوعی مولد (Generative AI) ارائه شود؟

یک نسخه خوب از مسئولیت‌پذیری، جنبه اجرایی ندارد. این فقط اضافه کردن یک سلب مسئولیت در پایین و نامیدن آن به اخلاق نیست. این مسئولیت‌پذیری در انتخاب‌های طراحی، عادات آزمایش و رفتار محصول خود را نشان می‌دهد.

در اینجا یک نسخه قوی از مسئولیت توسعه‌دهندگان با استفاده از هوش مصنوعی مولد (Generative AI) را مشاهده می‌کنید که معمولاً به این شکل است:

• استفاده عمدی از NIST AI RMF

  • هوش مصنوعی برای یک مشکل واقعی استفاده می‌شود، نه اینکه صرفاً به خاطر اینکه مد روز به نظر می‌رسد، به محصول اضافه شده باشد.

• نظارت انسانی، اصول هوش مصنوعی OECD

  • افراد می‌توانند خروجی‌ها را بررسی، اصلاح، لغو یا رد کنند.

• ایمنی از طریق طراحی، دستورالعمل‌های هوش مصنوعی امن NCSC

  • کنترل‌های ریسک از همان ابتدا در نظر گرفته می‌شوند، نه اینکه بعداً با چسب به آنها چسبانده شوند.

• شفافیت اصول هوش مصنوعی OECD بررسی اجمالی قانون هوش مصنوعی کمیسیون اروپا

  • کاربران متوجه می‌شوند که چه زمانی محتوا توسط هوش مصنوعی تولید شده یا با کمک هوش مصنوعی تولید شده است.

• هشت سوال از ICO مراقبت از داده‌ها

  • با اطلاعات حساس با دقت برخورد می‌شود و دسترسی به آنها محدود است.

• بررسی‌های انصاف، پروفایل GenAI NIST در مورد هوش مصنوعی و حفاظت از داده‌ها

  • این سیستم از نظر سوگیری، عملکرد ناهموار و الگوهای مضر آزمایش می‌شود.

• نظارت مداوم NIST AI RMF NCSC دستورالعمل‌های ایمن هوش مصنوعی

  • پرتاب خط پایان نیست. بیشتر شبیه سوت شروع است.

اگر این مقدار زیاد به نظر می‌رسد، خب... زیاد است. اما وقتی با فناوری‌ای کار می‌کنید که می‌تواند بر تصمیمات، باورها و رفتارها در مقیاس بزرگ تأثیر بگذارد، این موضوع اهمیت پیدا می‌کند. اصول هوش مصنوعی OECD

جدول مقایسه - مسئولیت اصلی توسعه‌دهندگان با استفاده از هوش مصنوعی مولد در یک نگاه 📋

حوزه مسئولیت	چه کسی را تحت تأثیر قرار می‌دهد؟	تمرین روزانه توسعه‌دهنده	چرا مهم است؟
دقت و راستی‌آزمایی	کاربران، تیم‌ها، مشتریان	بررسی خروجی‌ها، اضافه کردن لایه‌های اعتبارسنجی، موارد لبه آزمایش	هوش مصنوعی می‌تواند روان باشد و همچنان به شدت اشتباه کند - که ترکیبی تقریبی است از مشخصات NIST GenAI
حفاظت از حریم خصوصی	کاربران، مشتریان، کارکنان داخلی	استفاده از داده‌های حساس، پاک کردن اعلان‌ها و کنترل لاگ‌ها را به حداقل برسانید	وقتی اطلاعات خصوصی لو می‌رود، خمیردندان از تیوب بیرون افتاده است 😬 هشت سوال ICO برای هوش مصنوعی مولد OWASP 10 سوال برتر برای برنامه‌های LLM
جانبداری و انصاف	گروه‌های کم‌نمایندگی‌شده، واقعاً همه کاربران	خروجی‌های حسابرسی، ورودی‌های متنوع را آزمایش کنید، اقدامات حفاظتی را تنظیم کنید	آسیب همیشه بلند نیست - گاهی اوقات سیستماتیک و آرام است. NIST GenAI Profile ICO در مورد هوش مصنوعی و حفاظت از داده‌ها
امنیت	سیستم‌های شرکت، کاربران	محدود کردن دسترسی به مدل، دفاع در برابر تزریق سریع، اقدامات پرخطر در سندباکس	یک سوءاستفاده هوشمندانه می‌تواند اعتماد را به سرعت از بین ببرد. 10 مورد برتر OWASP برای برنامه‌های LLM NCSC در هوش مصنوعی و امنیت سایبری
شفافیت	کاربران نهایی، تنظیم‌کننده‌ها، تیم‌های پشتیبانی	رفتار هوش مصنوعی را به وضوح برچسب‌گذاری کنید، محدودیت‌ها را توضیح دهید، و کاربرد آن را مستند کنید	مردم حق دارند بدانند که چه زمانی دستگاه عملکرد هوش مصنوعی OECD
پاسخگویی	صاحبان محصول، حقوقی، تیم‌های توسعه	تعریف مالکیت، مدیریت حادثه، مسیرهای تشدید	«هوش مصنوعی این کار را کرد» پاسخی بزرگسالانه نیست - اصول هوش مصنوعی OECD
قابلیت اطمینان	هر کسی که محصول را لمس می‌کند	نظارت بر خرابی‌ها، تعیین آستانه‌های اطمینان، ایجاد منطق پشتیبان	مدل‌ها دچار انحراف می‌شوند، به روش‌های غیرمنتظره‌ای شکست می‌خورند و هر از گاهی یک اتفاق کوچک و دراماتیک می‌افتند. دستورالعمل‌های ایمن هوش مصنوعی NIST AI RMF
رفاه کاربر	به ویژه کاربران آسیب‌پذیر	از طراحی دستکاری‌شده اجتناب کنید، خروجی‌های مضر را محدود کنید، موارد استفاده پرخطر را بررسی کنید	صرفاً به این دلیل که چیزی قابل تولید است، به این معنی نیست که باید اصول هوش مصنوعی OECD و NIST AI RMF

مطمئناً، یک میز کمی ناهموار است، اما برای موضوع مناسب است. مسئولیت واقعی هم ناهموار است.

مسئولیت‌پذیری قبل از اولین درخواست شروع می‌شود - انتخاب مورد استفاده مناسب 🎯

یکی از بزرگترین مسئولیت‌هایی که توسعه‌دهندگان دارند، تصمیم‌گیری در مورد استفاده یا عدم استفاده از هوش مصنوعی مولد . NIST AI RMF

این نکته بدیهی به نظر می‌رسد، اما همیشه نادیده گرفته می‌شود. تیم‌ها یک مدل را می‌بینند، هیجان‌زده می‌شوند و شروع به اعمال آن به جریان‌های کاری می‌کنند که بهتر است با قوانین، جستجو یا منطق نرم‌افزاری معمولی مدیریت شوند. همه مشکلات به یک مدل زبانی نیاز ندارند. برخی از مشکلات به یک پایگاه داده و یک بعد از ظهر آرام نیاز دارند.

قبل از ساخت، توسعه‌دهندگان باید بپرسند:

• آیا این وظیفه پایان باز دارد یا قطعی است؟

• آیا خروجی نادرست می‌تواند باعث آسیب شود؟

• آیا کاربران به خلاقیت، پیش‌بینی، خلاصه‌سازی، اتوماسیون - یا فقط سرعت - نیاز دارند؟

• آیا مردم بیش از حد به خروجی اعتماد خواهند کرد؟ پروفایل NIST GenAI

• آیا یک انسان می‌تواند نتایج را به طور واقع‌بینانه بررسی کند؟ اصول هوش مصنوعی OECD

• وقتی مدل اشتباه باشد چه اتفاقی می‌افتد؟ اصول هوش مصنوعی OECD

یک توسعه‌دهنده‌ی مسئول فقط نمی‌پرسد «آیا می‌توانیم این را بسازیم؟» بلکه می‌پرسد «آیا باید این را به این شکل ساخت؟» NIST AI RMF

همین سوال به خودی خود از بسیاری از مزخرفات پر زرق و برق جلوگیری می‌کند.

دقت یک مسئولیت است، نه یک ویژگی امتیازی ✅

بیایید رک باشیم - یکی از بزرگترین دام‌ها در هوش مصنوعی مولد، اشتباه گرفتن فصاحت با حقیقت است. مدل‌ها اغلب پاسخ‌هایی تولید می‌کنند که به نظر شسته رفته، ساختار یافته و عمیقاً قانع‌کننده می‌آیند. که البته دوست‌داشتنی است، تا زمانی که محتوا بی‌معنی و در لفافه اطمینان پیچیده شده باشد. پروفایل GenAI NIST

بنابراین مسئولیت توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند شامل ساخت برای تأیید است.

یعنی:

• استفاده از بازیابی یا اتصال به زمین در صورت امکان پروفایل NIST GenAI

• جداسازی محتوای تولید شده از حقایق تأیید شده اصول هوش مصنوعی OECD

• اضافه کردن دقیق آستانه‌های اطمینان NIST AI RMF

• ایجاد گردش‌های کاری بررسی برای خروجی‌های با ریسک بالا اصول هوش مصنوعی OECD

• جلوگیری از بداهه‌پردازی مدل در زمینه‌های بحرانی، پروفایل NIST GenAI

• تست‌های آزمایشی که سعی در خراب کردن یا گمراه کردن سیستم دارند. 10 مورد برتر OWASP برای برنامه‌های LLM

این موضوع در زمینه‌هایی مانند موارد زیر بسیار مهم است:

• بهداشت و درمان

• امور مالی

• گردش‌های کاری قانونی

• آموزش و پرورش

• پشتیبانی مشتری

• اتوماسیون سازمانی

• تولید کد

برای مثال، کد تولید شده می‌تواند مرتب به نظر برسد در حالی که نقص‌های امنیتی یا اشتباهات منطقی را پنهان می‌کند. توسعه‌دهنده‌ای که کورکورانه آن را کپی می‌کند، کارآمد نیست - آنها صرفاً ریسک را در قالبی زیباتر برون‌سپاری می‌کنند. 10 مورد برتر OWASP برای برنامه‌های LLM NCSC در هوش مصنوعی و امنیت سایبری

این مدل می‌تواند کمک کند. توسعه‌دهنده همچنان مالک نتیجه است. اصول هوش مصنوعی OECD

حریم خصوصی و نظارت بر داده‌ها غیرقابل مذاکره هستند 🔐

اینجاست که اوضاع به سرعت جدی می‌شود. سیستم‌های هوش مصنوعی مولد اغلب به اعلان‌ها، گزارش‌ها، پنجره‌های زمینه، لایه‌های حافظه، تجزیه و تحلیل و زیرساخت‌های شخص ثالث متکی هستند. این امر احتمال زیادی برای نشت، ماندگاری یا استفاده مجدد از داده‌های حساس به روش‌هایی که کاربران هرگز انتظار نداشتند، ایجاد می‌کند. هشت سوال ICO برای هوش مصنوعی مولد OWASP 10 مورد برتر برای برنامه‌های LLM

توسعه‌دهندگان مسئولیت محافظت از موارد زیر را دارند:

• اطلاعات شخصی

• سوابق مالی

• جزئیات پزشکی

• داده‌های داخلی شرکت

• اسرار تجاری

• توکن‌های احراز هویت

• ارتباطات مشتری

شیوه‌های مسئولانه عبارتند از:

• به حداقل رساندن داده‌های ورودی به مدل، هشت سوال ICO برای هوش مصنوعی مولد

• پنهان کردن یا حذف شناسه‌ها پروفایل NIST GenAI

• محدود کردن نگهداری لاگ‌ها ، راهنمای ICO در مورد هوش مصنوعی و حفاظت از داده‌ها

• کنترل اینکه چه کسی می‌تواند به اعلان‌ها و خروجی‌ها دسترسی داشته باشد. ده مورد برتر OWASP برای برنامه‌های LLM

• بررسی دقیق تنظیمات فروشنده دستورالعمل‌های هوش مصنوعی امن NCSC

• دستورالعمل‌های ایمن‌سازی هوش مصنوعی NCSC برای ایزوله کردن گردش‌های کاری پرخطر

• هشت سوال ICO برای هوش مصنوعی مولد که رفتارهای مربوط به حریم خصوصی را برای کاربران قابل مشاهده می‌کند

این یکی از آن حوزه‌هایی است که عبارت «فراموش کردیم در موردش فکر کنیم» اشتباه کوچکی نیست. این یک شکست اعتمادشکن است.

و اعتماد، وقتی ترک بردارد، مثل شیشه‌ای که از دستتان می‌افتد پخش می‌شود. شاید استعاره‌ی جالبی نباشد، اما متوجه منظور هستید.

تعصب، انصاف و نمایندگی - مسئولیت‌های بی‌سروصداتر ⚖️

سوگیری در هوش مصنوعی مولد به ندرت یک شخصیت منفی کارتونی است. معمولاً از این هم لغزنده‌تر است. یک مدل ممکن است شرح وظایف کلیشه‌ای، تصمیمات تعدیل ناهموار، توصیه‌های نامتوازن یا فرضیات محدود فرهنگی تولید کند، بدون اینکه هشدارهای واضحی را به صدا درآورد. نمایه GenAI NIST

به همین دلیل است که مسئولیت توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند، شامل کار فعالانه و منصفانه است.

توسعه‌دهندگان باید:

• سوالات آزمون از جمعیت‌ها و زمینه‌های مختلف، پروفایل NIST GenAI

• بررسی خروجی‌ها برای کلیشه‌ها و موارد استثنا NIST GenAI Profile

• در طول ارزیابی، دیدگاه‌های متنوعی را درگیر کنید NIST AI RMF

• مراقب الگوهای شکست ناهموار باشید پروفایل NIST GenAI

• از فرض اینکه یک سبک زبانی یا هنجار فرهنگی برای همه مناسب است، خودداری کنید. راهنمایی ICO در مورد هوش مصنوعی و حفاظت از داده‌ها

• ایجاد کانال‌های گزارش‌دهی برای خروجی‌های مضر NIST AI RMF

یک سیستم می‌تواند در کل خوب به نظر برسد، در حالی که به طور مداوم به برخی از کاربران خدمات بدتری نسبت به سایرین ارائه می‌دهد. این موضوع صرفاً به این دلیل که عملکرد متوسط ​​در داشبورد خوب به نظر می‌رسد، قابل قبول نیست. راهنمایی ICO در مورد هوش مصنوعی و حفاظت از داده‌ها ، پروفایل NIST GenAI

و بله، انصاف سخت‌تر از یک چک لیست مرتب است. در آن قضاوت وجود دارد. زمینه. بده بستان. مقداری ناراحتی هم وجود دارد. اما این مسئولیت را از بین نمی‌برد - بلکه آن را تأیید می‌کند. راهنمای ICO در مورد هوش مصنوعی و حفاظت از داده‌ها

امنیت اکنون بخشی از طراحی سریع و بخشی از نظم مهندسی است 🧱

امنیت هوش مصنوعی مولد، ویژگی خاص خودش را دارد. البته امنیت برنامه‌های سنتی هنوز هم اهمیت دارد، اما سیستم‌های هوش مصنوعی، سطوح حمله غیرمعمولی را اضافه می‌کنند: تزریق سریع، دستکاری غیرمستقیم سریع، استفاده ناامن از ابزار، استخراج داده‌ها از طریق متن و سوءاستفاده از مدل از طریق گردش‌های کاری خودکار. ده مورد برتر OWASP برای برنامه‌های کاربردی LLM، NCSC در هوش مصنوعی و امنیت سایبری

توسعه‌دهندگان مسئول ایمن‌سازی کل سیستم هستند، نه فقط رابط کاربری. دستورالعمل‌های هوش مصنوعی امن NCSC

مسئولیت‌های کلیدی در اینجا شامل موارد زیر است:

• پاکسازی ورودی‌های نامعتبر - 10 مورد برتر OWASP برای برنامه‌های LLM

• محدود کردن ابزارهایی که مدل می‌تواند فراخوانی کند. ده مورد برتر OWASP برای برنامه‌های LLM

• محدود کردن دسترسی به فایل و شبکه، دستورالعمل‌های هوش مصنوعی امن NCSC

• دستورالعمل‌های هوش مصنوعی امن NCSC، مجوزها را به وضوح از هم جدا می‌کنند.

• نظارت بر الگوهای سوءاستفاده، دستورالعمل‌های هوش مصنوعی امن NCSC

• اقدامات پرهزینه یا پرخطر محدودکننده نرخ، 10 مورد برتر OWASP برای برنامه‌های LLM

• آزمایش درخواست‌های خصمانه، 10 مورد برتر OWASP برای برنامه‌های LLM

• ایجاد جایگزین‌های ایمن در صورت تداخل دستورالعمل‌ها اصول هوش مصنوعی OECD

یک حقیقت ناخوشایند این است که کاربران - و مهاجمان - قطعاً چیزهایی را امتحان می‌کنند که توسعه‌دهندگان انتظارش را ندارند. برخی از روی کنجکاوی، برخی از روی بدخواهی، برخی دیگر به این دلیل که ساعت ۲ بامداد روی چیز اشتباهی کلیک کرده‌اند. این اتفاق می‌افتد.

امنیت برای هوش مصنوعی مولد کمتر شبیه ساختن دیوار و بیشتر شبیه مدیریت یک دروازه‌بان بسیار پرحرف است که گاهی اوقات با عبارات فریبنده فریب می‌خورد.

شفافیت و رضایت کاربر مهم‌تر از تجربه کاربری (UX) پر زرق و برق است 🗣️

وقتی کاربران با هوش مصنوعی تعامل می‌کنند، باید آن را بشناسند. اصول هوش مصنوعی سازمان همکاری و توسعه اقتصادی (OECD) - آیین‌نامه اجرایی در مورد علامت‌گذاری و برچسب‌گذاری محتوای تولید شده توسط هوش مصنوعی

نه مبهم. نه در لابه‌لای کلمات. واضح.

بخش اصلی مسئولیت توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند، اطمینان از درک کاربران از موارد زیر است:

• چه زمانی از هوش مصنوعی استفاده می‌شود؟ اصول هوش مصنوعی OECD

• اصول هوش مصنوعی OECD: چه کارهایی را هوش مصنوعی می‌تواند و چه کارهایی را نمی‌تواند انجام دهد

• آیا خروجی‌ها توسط انسان‌ها بررسی می‌شوند؟ اصول هوش مصنوعی OECD

• نحوه پردازش داده‌های آنها هشت سوال ICO برای هوش مصنوعی مولد

• چه سطحی از اطمینان باید داشته باشند؟ NIST AI RMF

• نحوه گزارش مشکلات یا تجدیدنظر در تصمیمات OECD اصول هوش مصنوعی NIST هوش مصنوعی RMF

شفافیت به معنای ترساندن کاربران نیست. بلکه به معنای احترام به آنهاست.

شفافیت خوب می‌تواند شامل موارد زیر باشد:

• برچسب‌هایی مانند آیین‌نامه‌ی اجرایی تولید شده توسط هوش مصنوعی یا با کمک هوش مصنوعی در مورد علامت‌گذاری و برچسب‌گذاری محتوای تولید شده توسط هوش مصنوعی

• توضیحات به زبان ساده اصول هوش مصنوعی OECD

• تاریخچه ویرایش‌های قابل مشاهده در صورت لزوم

• گزینه‌هایی برای خاموش کردن ویژگی‌های هوش مصنوعی

• ارجاع به نیروی انسانی در صورت نیاز اصول هوش مصنوعی OECD

• هشدارهای مختصر برای وظایف پرخطر، مروری بر قانون هوش مصنوعی کمیسیون اروپا

بسیاری از تیم‌های محصول نگرانند که صداقت باعث شود ویژگی کمتر جادویی به نظر برسد. شاید. اما اطمینان کاذب بدتر است. یک رابط کاربری روان که ریسک را پنهان می‌کند، اساساً سردرگمیِ آراسته‌ای است.

توسعه‌دهندگان پاسخگو می‌مانند - حتی زمانی که مدل «تصمیم می‌گیرد» 👀

این بخش اهمیت زیادی دارد. مسئولیت را نمی‌توان به فروشنده مدل، کارت مدل، الگوی آماده یا فضای مرموز یادگیری ماشین برون‌سپاری کرد. اصول هوش مصنوعی OECD، NIST، AI RMF

توسعه‌دهندگان هنوز هم پاسخگو هستند. اصول هوش مصنوعی OECD

این یعنی یکی از اعضای تیم باید مسئولیت موارد زیر را بر عهده داشته باشد:

• انتخاب مدل NIST AI RMF

• استانداردهای تست NIST GenAI Profile

• معیارهای انتشار پروفایل NIST GenAI

• دستورالعمل‌های هوش مصنوعی امن NCSC برای واکنش به حوادث

• رسیدگی به شکایات کاربران NIST AI RMF

• رویه‌های بازگشت به عقب اصول هوش مصنوعی OECD

• ردیابی تغییرات اصول هوش مصنوعی OECD

• اصول هوش مصنوعی OECD

باید پاسخ‌های روشنی برای سوالاتی مانند موارد زیر وجود داشته باشد:

• چه کسی استقرار را تأیید می‌کند؟ نمایه NIST GenAI

• چه کسی حوادث با خروجی مضر را بررسی می‌کند؟ پروفایل NIST GenAI

• چه کسی می‌تواند این ویژگی را غیرفعال کند؟ اصول هوش مصنوعی OECD

• چه کسی رگرسیون‌ها را رصد می‌کند؟ NIST AI RMF

• چه کسی در صورت بروز مشکل با کاربران ارتباط برقرار می‌کند؟ اصول هوش مصنوعی OECD

بدون احساس مسئولیت، مسئولیت به ابهام تبدیل می‌شود. همه فرض می‌کنند کس دیگری آن را مدیریت می‌کند... و بعد هیچ‌کس این کار را نمی‌کند.

در حقیقت، این الگو از هوش مصنوعی قدیمی‌تر است. هوش مصنوعی به سادگی آن را خطرناک‌تر می‌کند.

توسعه‌دهندگان مسئولیت‌پذیر برای اصلاح می‌سازند، نه برای کمال 🔄

نکته‌ی کوچک در تمام این ماجرا این است: توسعه‌ی مسئولانه‌ی هوش مصنوعی به معنای تظاهر به بی‌نقص بودن سیستم نیست. بلکه به معنای فرض کردن این است که سیستم به نحوی شکست خواهد خورد و طراحی بر اساس آن واقعیت است. NIST AI RMF

این به معنای ساخت محصولاتی است که:

• اصول هوش مصنوعی قابل حسابرسی

  • تصمیمات و خروجی‌ها می‌توانند بعداً بررسی شوند

• اصول هوش مصنوعی قابل وقفه

  • انسان‌ها می‌توانند رفتار بد را متوقف یا نادیده بگیرند

• اصول هوش مصنوعی OECD قابل بازیابی

  • وقتی خروجی هوش مصنوعی اشتباه باشد، یک راه حل جایگزین وجود دارد

• دستورالعمل‌های هوش مصنوعی امن NCSC قابل نظارت NIST AI RMF

  • تیم‌ها می‌توانند الگوها را قبل از تبدیل شدن به فاجعه تشخیص دهند

• بهبودپذیر NIST GenAI

  • حلقه‌های بازخورد وجود دارند، و کسی آنها را می‌خواند

بلوغ این شکلی است. نه دموهای پر زرق و برق. نه متن‌های تبلیغاتی نفس‌گیر. سیستم‌های واقعی، با محافظ‌ها، گزارش‌ها، پاسخگویی و فروتنی کافی برای پذیرفتن اینکه دستگاه جادوگر نیست. دستورالعمل‌های هوش مصنوعی امن NCSC اصول هوش مصنوعی OECD

چون اینطور نیست. یک ابزار است. بله، ابزاری قدرتمند. اما هنوز هم یک ابزار است.

تأمل پایانی در مورد مسئولیت توسعه‌دهندگان در استفاده از هوش مصنوعی مولد 🌍

مسئولیت توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند چیست ؟

این یعنی با دقت ساختن. زیر سوال بردن اینکه سیستم کجا مفید و کجا مضر است. برای محافظت از حریم خصوصی. برای آزمایش سوگیری. برای تأیید خروجی‌ها. برای ایمن‌سازی گردش کار. برای شفافیت با کاربران. برای حفظ کنترل معنادار توسط انسان‌ها. برای پاسخگو ماندن در مواقع بروز مشکل. اصول هوش مصنوعی NIST RMF

این ممکن است سنگین به نظر برسد - و همینطور هم هست. اما همچنین چیزی است که توسعه متفکرانه را از اتوماسیون بی‌ملاحظه متمایز می‌کند.

بهترین توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند، کسانی نیستند که مدل را وادار به انجام بیشترین ترفندها می‌کنند. آنها کسانی هستند که عواقب آن ترفندها را درک می‌کنند و بر اساس آن طراحی می‌کنند. آنها می‌دانند که سرعت مهم است، اما اعتماد محصول واقعی است. به طرز عجیبی، آن ایده قدیمی هنوز هم پابرجاست. NIST AI RMF

در نهایت، مسئولیت‌پذیری مانعی برای نوآوری نیست. این همان چیزی است که مانع از تبدیل نوآوری به یک فضای پرهزینه و آشفته با رابط کاربری شیک و مشکل اعتماد به نفس می‌شود 😬✨

و شاید این ساده‌ترین نسخه آن باشد.

جسورانه بسازید، مطمئناً - اما طوری بسازید که انگار مردم هم ممکن است تحت تأثیر قرار بگیرند، چون واقعاً تحت تأثیر قرار می‌گیرند. اصول هوش مصنوعی OECD

سوالات متداول

مسئولیت توسعه‌دهندگانی که در عمل از هوش مصنوعی مولد استفاده می‌کنند چیست؟

مسئولیت توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند، فراتر از ارائه سریع ویژگی‌ها است. این مسئولیت شامل انتخاب مورد استفاده مناسب، آزمایش خروجی‌ها، محافظت از حریم خصوصی، کاهش رفتارهای مضر و قابل فهم کردن سیستم برای کاربران می‌شود. در عمل، توسعه‌دهندگان همچنان مسئول نحوه طراحی، نظارت، اصلاح و مدیریت ابزار در صورت عدم موفقیت آن هستند.

چرا هوش مصنوعی مولد به مسئولیت توسعه‌دهنده بیشتری نسبت به نرم‌افزارهای معمولی نیاز دارد؟

اشکالات سنتی اغلب آشکار هستند، اما شکست‌های هوش مصنوعی مولد می‌توانند در عین حال که اشتباه، جانبدارانه یا پرخطر هستند، ظاهری آراسته داشته باشند. این امر تشخیص مشکلات را دشوارتر و اعتماد کاربران به اشتباهات را آسان‌تر می‌کند. توسعه‌دهندگان با سیستم‌های احتمالی کار می‌کنند، بنابراین مسئولیت شامل مدیریت عدم قطعیت، محدود کردن آسیب و آماده شدن برای خروجی‌های غیرقابل پیش‌بینی قبل از راه‌اندازی است.

توسعه‌دهندگان چگونه می‌دانند چه زمانی نباید از هوش مصنوعی مولد استفاده کنند؟

یک نقطه شروع رایج این است که بپرسیم آیا این وظیفه باز است یا بهتر است با قوانین، جستجو یا منطق نرم‌افزاری استاندارد انجام شود. توسعه‌دهندگان همچنین باید در نظر بگیرند که یک پاسخ اشتباه چقدر می‌تواند آسیب ایجاد کند و آیا یک انسان می‌تواند نتایج را به طور واقع‌بینانه بررسی کند. استفاده مسئولانه گاهی اوقات به معنای تصمیم به عدم استفاده از هوش مصنوعی مولد است.

توسعه‌دهندگان چگونه می‌توانند توهمات و پاسخ‌های اشتباه را در سیستم‌های هوش مصنوعی مولد کاهش دهند؟

دقت باید در طراحی لحاظ شود، نه اینکه فرض شود. در بسیاری از خطوط تولید، این به معنای پایه‌گذاری خروجی‌ها در منابع معتبر، جداسازی متن تولید شده از حقایق تأیید شده و استفاده از گردش‌های کاری بررسی برای وظایف پرخطرتر است. توسعه‌دهندگان همچنین باید دستورالعمل‌هایی را که به منظور گیج کردن یا گمراه کردن سیستم، به ویژه در زمینه‌هایی مانند کد، پشتیبانی، امور مالی، آموزش و مراقبت‌های بهداشتی، طراحی شده‌اند، آزمایش کنند.

مسئولیت توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند در قبال حریم خصوصی و داده‌های حساس چیست؟

مسئولیت توسعه‌دهندگانی که از هوش مصنوعی مولد استفاده می‌کنند شامل به حداقل رساندن داده‌های ورودی به مدل و حساس تلقی کردن اعلان‌ها، گزارش‌ها و خروجی‌ها است. توسعه‌دهندگان باید در صورت امکان شناسه‌ها را حذف کنند، نگهداری داده‌ها را محدود کنند، دسترسی را کنترل کنند و تنظیمات فروشنده را با دقت بررسی کنند. کاربران همچنین باید بتوانند نحوه مدیریت داده‌های خود را درک کنند، نه اینکه بعداً خطرات را کشف کنند.

توسعه‌دهندگان چگونه باید تعصب و انصاف را در خروجی‌های هوش مصنوعی مولد مدیریت کنند؟

کار بر روی سوگیری نیازمند ارزیابی فعال است، نه فرضیات. یک رویکرد عملی، آزمایش دستورالعمل‌ها در جمعیت‌ها، زبان‌ها و زمینه‌های مختلف و سپس بررسی خروجی‌ها برای یافتن کلیشه‌ها، محرومیت‌ها یا الگوهای شکست ناهموار است. توسعه‌دهندگان همچنین باید راه‌هایی را برای کاربران یا تیم‌ها ایجاد کنند تا رفتارهای مضر را گزارش دهند، زیرا یک سیستم می‌تواند در کل قوی به نظر برسد، در حالی که همچنان به طور مداوم در برخی از گروه‌ها شکست می‌خورد.

توسعه‌دهندگان باید در مورد چه خطرات امنیتی در مورد هوش مصنوعی مولد فکر کنند؟

هوش مصنوعی مولد، سطوح حمله جدیدی را معرفی می‌کند، از جمله تزریق سریع، استفاده ناامن از ابزار، نشت داده‌ها از طریق زمینه و سوءاستفاده از اقدامات خودکار. توسعه‌دهندگان باید ورودی‌های غیرقابل اعتماد را پاکسازی کنند، مجوزهای ابزار را محدود کنند، دسترسی به فایل و شبکه را محدود کنند و الگوهای سوءاستفاده را رصد کنند. امنیت فقط مربوط به رابط کاربری نیست؛ بلکه در کل گردش کار پیرامون مدل اعمال می‌شود.

چرا شفافیت هنگام ساخت با هوش مصنوعی مولد مهم است؟

کاربران باید به وضوح بدانند که هوش مصنوعی چه زمانی درگیر می‌شود، چه کارهایی می‌تواند انجام دهد و محدودیت‌های آن کجاست. شفافیت خوب می‌تواند شامل برچسب‌هایی مانند تولید شده توسط هوش مصنوعی یا با کمک هوش مصنوعی، توضیحات ساده و مسیرهای روشن برای پشتیبانی انسانی باشد. این نوع صراحت، محصول را تضعیف نمی‌کند؛ بلکه به کاربران کمک می‌کند تا اعتماد را تنظیم کرده و تصمیمات بهتری بگیرند.

چه کسی مسئول است وقتی یک ویژگی هوش مصنوعی مولد باعث آسیب شود یا مشکلی ایجاد کند؟

توسعه‌دهندگان و تیم‌های محصول، حتی زمانی که مدل، پاسخ را تولید می‌کند، همچنان مالک نتیجه هستند. این بدان معناست که باید مسئولیت روشنی برای تأیید استقرار، مدیریت حوادث، بازگرداندن به حالت اولیه، نظارت و ارتباط با کاربر وجود داشته باشد. «مدل تصمیم گرفت» کافی نیست، زیرا پاسخگویی باید بر عهده افرادی باشد که سیستم را طراحی و راه‌اندازی کرده‌اند.

توسعه هوش مصنوعی مولد مسئولانه پس از راه‌اندازی چگونه خواهد بود؟

توسعه مسئولانه پس از انتشار از طریق نظارت، بازخورد، بررسی و اصلاح ادامه می‌یابد. سیستم‌های قوی قابل حسابرسی، قابل وقفه، قابل بازیابی هستند و با مسیرهای جایگزین در صورت عدم موفقیت هوش مصنوعی طراحی شده‌اند. هدف، کمال نیست؛ بلکه ساختن چیزی است که بتوان آن را با بروز مشکلات دنیای واقعی، بررسی، بهبود و با خیال راحت تنظیم کرد.

منابع

1. موسسه ملی استاندارد و فناوری (NIST) - پروفایل GenAI NIST - nvlpubs.nist.gov

2. OWASP - 10 مورد برتر OWASP برای برنامه‌های LLM - owasp.org

3. دفتر کمیسر اطلاعات (ICO) - هشت سوال ICO برای هوش مصنوعی مولد - ico.org.uk

جدیدترین هوش مصنوعی را در فروشگاه رسمی دستیار هوش مصنوعی پیدا کنید

درباره ما