ذخیره‌سازی شیء برای هوش مصنوعی: انتخاب‌ها، انتخاب‌ها، انتخاب‌ها

وقتی اکثر مردم «هوش مصنوعی» را می‌شنوند، شبکه‌های عصبی، الگوریتم‌های فانتزی یا شاید آن ربات‌های انسان‌نمای کمی عجیب و غریب را تصور می‌کنند. چیزی که به ندرت از ابتدا به آن اشاره می‌شود این است: هوش مصنوعی تقریباً به همان اندازه که محاسبه می‌کند، فضای ذخیره‌سازی را نیز می‌بلعد . و نه فقط هر شیء ذخیره‌سازی، بلکه بی‌سروصدا در پس‌زمینه نشسته و کار نه چندان جذاب اما کاملاً ضروری تغذیه مدل‌ها با داده‌های مورد نیازشان را انجام می‌دهد.

بیایید بررسی کنیم که چه چیزی ذخیره‌سازی شیءگرا را برای هوش مصنوعی بسیار مهم می‌کند، چه تفاوتی با سیستم‌های ذخیره‌سازی قدیمی دارد و چرا در نهایت به یکی از اهرم‌های کلیدی برای مقیاس‌پذیری و عملکرد تبدیل می‌شود.

مقالاتی که شاید بعد از این مطلب دوست داشته باشید بخوانید:

🔗 کدام فناوری‌ها باید در دسترس باشند تا از هوش مصنوعی مولد در مقیاس بزرگ برای کسب‌وکار استفاده شود؟
فناوری‌های کلیدی مورد نیاز کسب‌وکارها برای مقیاس‌پذیری مؤثر هوش مصنوعی مولد.

🔗 مدیریت داده‌ها برای ابزارهای هوش مصنوعی که باید به آنها توجه کنید
بهترین شیوه‌ها برای مدیریت داده‌ها جهت بهینه‌سازی عملکرد هوش مصنوعی.

🔗 پیامدهای هوش مصنوعی برای استراتژی کسب و کار
چگونه هوش مصنوعی بر استراتژی‌های تجاری و تصمیم‌گیری‌های بلندمدت تأثیر می‌گذارد.

چه چیزی باعث جذابیت ذخیره‌سازی اشیا برای هوش مصنوعی می‌شود؟ 🌟

ایده اصلی: ذخیره‌سازی شیء با پوشه‌ها یا طرح‌بندی‌های بلوکی سفت و سخت مشکلی ندارد. این روش داده‌ها را به «اشیاء» تقسیم می‌کند که هر کدام با فراداده برچسب‌گذاری شده‌اند. این فراداده‌ها می‌توانند چیزهای سطح سیستم (اندازه، مهرهای زمانی، کلاس ذخیره‌سازی) و برچسب‌های کلید:مقدار تعریف‌شده توسط کاربر باشند [1]. آن را مانند هر فایلی در نظر بگیرید که حاوی انبوهی از یادداشت‌های چسبنده است که دقیقاً به شما می‌گوید چیست، چگونه ایجاد شده است و در کجای خط تولید شما قرار دارد.

برای تیم‌های هوش مصنوعی، این انعطاف‌پذیری یک عامل تعیین‌کننده است:

• مقیاس‌پذیری بدون دردسر - دریاچه‌های داده تا پتابایت‌ها گسترش می‌یابند و فروشگاه‌های شیء به راحتی آن را مدیریت می‌کنند. آن‌ها برای رشد تقریباً نامحدود و دوام چند AZ طراحی شده‌اند (آمازون S3 به طور پیش‌فرض به "11 nines" و تکثیر بین منطقه‌ای افتخار می‌کند) [2].

• غنای فراداده - جستجوهای سریع‌تر، فیلترهای تمیزتر و خطوط لوله هوشمندتر، زیرا زمینه با هر شیء همراه است [1].

• ابری - داده‌ها از طریق HTTP(S) وارد می‌شوند، به این معنی که می‌توانید pullها را موازی‌سازی کنید و آموزش توزیع‌شده را فعال نگه دارید.

• انعطاف‌پذیری ذاتی - وقتی روزها تمرین می‌کنید، نمی‌توانید ریسک کنید که یک Shard خراب، Epoch 12 را از بین ببرد. ذخیره‌سازی شیءگرا با طراحی خود از این امر جلوگیری می‌کند [2].

اساساً یک کوله پشتی بدون ته است: شاید داخلش نامرتب باشد، اما وقتی دستش را دراز می‌کنید، همه چیز قابل برداشتن است.

جدول مقایسه سریع برای ذخیره‌سازی اشیاء هوش مصنوعی 🗂️

همیشه قیمت‌ها را با توجه به میزان استفاده واقعی خود - به ویژه میزان خروجی، حجم درخواستی و ترکیب کلاس ذخیره‌سازی - بررسی کنید.

چرا آموزش هوش مصنوعی عاشق ذخیره‌سازی شیء است؟

آموزش «تعداد انگشت‌شماری فایل» نیست. بلکه میلیون‌ها میلیون رکورد است که به صورت موازی در هم ادغام می‌شوند. سیستم‌های فایل سلسله مراتبی تحت همزمانی شدید قرار می‌گیرند. ذخیره‌سازی شیء با فضاهای نام مسطح و APIهای تمیز، از این مشکل عبور می‌کند. هر شیء یک کلید منحصر به فرد دارد؛ کارگران به صورت موازی گسترش می‌یابند و واکشی می‌کنند. مجموعه داده‌های خرد شده + ورودی/خروجی موازی = پردازنده‌های گرافیکی به جای انتظار، مشغول می‌مانند.

نکته‌ای از سنگر: تکه‌های داغ را نزدیک خوشه محاسباتی (همان منطقه یا ناحیه) نگه دارید و به طور گسترده روی SSD ذخیره کنید. اگر به تغذیه تقریباً مستقیم به GPUها نیاز دارید، NVIDIA GPUDirect Storage ارزش بررسی دارد - این ابزار بافرهای پرش CPU را کاهش می‌دهد، تأخیر را کاهش می‌دهد و پهنای باند را مستقیماً به شتاب‌دهنده‌ها افزایش می‌دهد [4].

فراداده: ابرقدرت دست کم گرفته شده 🪄

اینجاست که ذخیره‌سازی شیء به روش‌های نه چندان آشکار می‌درخشد. در زمان آپلود، می‌توانید فراداده‌های سفارشی (مانند x-amz-meta-… lighting=low یا blur=high برچسب‌گذاری کند بدون اسکن مجدد فایل‌های خام ، فیلتر، متعادل یا طبقه‌بندی کنند [1].

و سپس نوبت به نسخه‌بندی . بسیاری از مخازن شیء، چندین نسخه از یک شیء را در کنار هم نگه می‌دارند - ایده‌آل برای آزمایش‌های قابل تکرار یا سیاست‌های مدیریتی که نیاز به عقب‌گرد دارند [5].

ذخیره‌سازی شیء در مقابل بلوک در مقابل فایل ⚔️

• ذخیره‌سازی بلوکی : برای پایگاه‌های داده تراکنشی عالی است - سریع و دقیق - اما برای داده‌های بدون ساختار در مقیاس پتابایت بسیار گران است.

• ذخیره‌سازی فایل : آشنا، سازگار با POSIX، اما دایرکتوری‌ها تحت بارگذاری‌های موازی گسترده دچار مشکل می‌شوند.

• ذخیره‌سازی شیء : از پایه برای مقیاس‌پذیری، موازی‌سازی و دسترسی مبتنی بر فراداده طراحی شده است [1].

اگر یک استعاره ناشیانه می‌خواهید: ذخیره‌سازی بلوکی یک کابینت بایگانی است، ذخیره‌سازی فایل یک پوشه رومیزی است، و ذخیره‌سازی شیء... یک گودال بی‌انتها با یادداشت‌های چسب‌دار است که به نحوی آن را قابل استفاده می‌کند.

گردش‌های کاری ترکیبی هوش مصنوعی 🔀

همیشه فقط ابری نیست. ترکیبی رایج مانند این است:

• ذخیره‌سازی شیءگرای درون سازمانی (MinIO، Dell ECS) برای داده‌های حساس یا تنظیم‌شده.

• فضای ذخیره‌سازی ابری برای حجم کاری زیاد، آزمایش‌ها یا همکاری.

این تعادل، هزینه، انطباق‌پذیری و چابکی را تحت تأثیر قرار می‌دهد. من تیم‌هایی را دیده‌ام که به معنای واقعی کلمه، ترابایت‌ها را یک شبه در یک سطل S3 خالی می‌کنند تا فقط یک کلاستر GPU موقت را روشن کنند - سپس وقتی اسپرینت تمام شد، همه آن را از بین می‌برند. برای بودجه‌های محدودتر، مدل نرخ ثابت/بدون خروجی Wasabi [3] پیش‌بینی زندگی را آسان‌تر می‌کند.

قسمتی که هیچ‌کس به آن افتخار نمی‌کند 😅

بررسی واقعیت: بی‌عیب و نقص نیست.

• تأخیر - اگر محاسبات و فضای ذخیره‌سازی را خیلی از هم دور کنید، پردازنده‌های گرافیکی شما کند می‌شوند. GDS کمک می‌کند، اما معماری هنوز هم مهم است [4].

• هزینه‌های غیرمنتظره - هزینه‌های درخواست Egress و API به طور ناگهانی از مردم دریافت می‌شود. برخی از ارائه‌دهندگان از آنها چشم‌پوشی می‌کنند (Wasabi این کار را می‌کند؛ برخی دیگر نه) [3].

• هرج و مرج فراداده در مقیاس بزرگ - چه کسی «حقیقت» را در برچسب‌ها و نسخه‌ها تعریف می‌کند؟ شما به قراردادها، سیاست‌ها و برخی از ابزارهای نظارتی نیاز خواهید داشت [5].

ذخیره‌سازی شیءگرا یک زیرساخت لوله‌کشی است: حیاتی، اما نه چندان جذاب.

به کجا داره میره 🚀

• ذخیره‌سازی هوشمندتر و آگاه از هوش مصنوعی که داده‌ها را از طریق لایه‌های پرس‌وجوی شبیه به SQL به صورت خودکار برچسب‌گذاری و نمایش می‌دهد [1].

• یکپارچه‌سازی سخت‌افزاری دقیق‌تر (مسیرهای DMA، تخلیه بار کارت شبکه) تا پردازنده‌های گرافیکی (GPU) دچار کمبود ورودی/خروجی نشوند [4].

• قیمت‌گذاری شفاف و قابل پیش‌بینی (مدل‌های ساده‌شده، هزینه‌های خروج معاف) [3].

مردم از محاسبات به عنوان آینده هوش مصنوعی صحبت می‌کنند. اما اگر واقع‌بین باشیم، گلوگاه ماجرا بیشتر مربوط به تزریق سریع داده‌ها به مدل‌ها بدون هدر دادن بودجه . به همین دلیل است که نقش ذخیره‌سازی شیءگرا (Object Storage) روز به روز در حال افزایش است.

جمع‌بندی 📝

ذخیره‌سازی شیءگرا (Object Storage) چیز پر زرق و برقی نیست، اما اساسی است. بدون ذخیره‌سازی مقیاس‌پذیر، آگاه از فراداده و انعطاف‌پذیر، آموزش مدل‌های بزرگ مانند دویدن در یک ماراتن با صندل است.

بله، پردازنده‌های گرافیکی مهم هستند، فریم‌ورک‌ها مهم هستند. اما اگر در مورد هوش مصنوعی جدی هستید، محل نگهداری داده‌هایتان را نادیده نگیرید . احتمالاً، ذخیره‌سازی شیءگرا همین الان هم بی‌سروصدا کل عملیات را متوقف کرده است.

منابع

[1] AWS S3 – فراداده‌های شیء - فراداده‌های سیستمی و سفارشی
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html

[2] AWS S3 – کلاس‌های ذخیره‌سازی - دوام ("11 نه") + انعطاف‌پذیری
https://aws.amazon.com/s3/storage-classes/

[3] Wasabi Hot Cloud – قیمت‌گذاری - نرخ ثابت، بدون هزینه خروجی/API
https://wasabi.com/pricing

[4] ذخیره‌سازی مستقیم پردازنده گرافیکی انویدیا - اسناد - مسیرهای DMA به پردازنده‌های گرافیکی
https://docs.nvidia.com/gpudirect-storage/

[5] AWS S3 - نسخه‌بندی - نسخه‌های متعدد برای مدیریت/بازتولید
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html

جدیدترین هوش مصنوعی را در فروشگاه رسمی دستیار هوش مصنوعی پیدا کنید

درباره ما