مرکز داده هوش مصنوعی چیست؟ [ویدئو و آزمون]

پاسخ کوتاه: یک مرکز داده هوش مصنوعی، با تراکم بالا که در آن برق، سرمایش، تجهیزات و فضای ذخیره‌سازی حول مدل‌های آموزشی و خدماتی متمرکز شده‌اند، نه یک اتاق سرور با پردازنده‌های گرافیکی اضافی. تراشه‌ها شهرت پیدا می‌کنند؛ ساختمان تصمیم می‌گیرد که آیا آنها کار می‌کنند یا خیر. اگر تصاویر نمی‌توانند خارج شوند، یک سلول کوچک را بازسازی کنید؛ اکثر تیم‌ها باید اجاره کنند.

نکات کلیدی:

تراشه‌ها در مقابل ساخت: قدرت، خنک‌کننده، پارچه و فضای ذخیره‌سازی تعیین می‌کنند که آیا شتاب‌دهنده‌ها کار می‌کنند یا خیر.

مکان‌ها نه کاخ‌ها: وقتی داده‌ها نمی‌توانند خارج شوند، دو رک را بازسازی کنید؛ یک محوطه دانشگاهی نخرید.

میانگین در مقابل میانه: در هشت اجرا، میانه شروع مجدد را پنهان کرد؛ از میانگین ۱۸ ساعته استفاده کنید.

مقاومت در برابر سوء استفاده: برای دو رک در یک سالن مختلط، PUE را اعلام نکنید.

نتایج گویا: هشت دور، نقشه کوچکی است، نه ۵۰٪ صرفه‌جویی در تولید.

مقالاتی که شاید بعد از این مطلب دوست داشته باشید بخوانید:

🔗 آیا هوش مصنوعی قابل اعتماد است؟ ویدیو و مسابقه
از طریق یک ویدیوی جذاب و مسابقه تعاملی، قابلیت اطمینان هوش مصنوعی را بررسی کنید.

🔗 نحوه استفاده از هوش مصنوعی در زندگی روزمره
روش‌های عملی را کشف کنید که هوش مصنوعی می‌تواند وظایف و روال‌های روزمره را ساده کند.

🔗 نحوه استفاده از هوش مصنوعی در محل کار
روش‌های عملی استفاده از هوش مصنوعی برای بهره‌وری هوشمندانه‌تر در محل کار را بیاموزید.

🔗 آیا هوش مصنوعی می‌تواند خودش فکر کند؟
بفهمید که آیا هوش مصنوعی واقعاً می‌تواند مستقل فکر کند یا استدلال کند.

چه تفاوتی با یک مرکز داده «معمولی» دارد؟

سالن‌های سنتی برای حجم کاری و زمان روشن بودن ترکیبی در میان تعداد زیادی از سرویس‌های کوچک بهینه می‌شوند. شما مطمئناً به افزونگی و به PUE به عنوان یک مفهوم اهمیت می‌دهید - انرژی اضافی که ساختمان برای ارائه یک وات محاسبه می‌سوزاند. شما معمولاً هر راهرو را در اطراف یک رک طوری طراحی نمی‌کنید که مانند یک مزرعه بخاری قابل حمل رفتار کند.

سایت‌های هوش مصنوعی نسبت‌ها را برعکس می‌کنند. تراکم افزایش می‌یابد. شبکه به پارچه‌ای تبدیل می‌شود که کار آموزش بدون آن نمی‌تواند به راحتی پیش برود. ذخیره‌سازی باید ایست‌های بازرسی را در حال حرکت نگه دارد یا شتاب‌دهنده‌ها بیکار بمانند، مانند اسب‌های مسابقه در ترافیک.

یک تفاوت فرهنگی هم وجود دارد. تیم‌های عملیاتی سازمانی به تیکت‌ها و پنجره‌های تغییر فکر می‌کنند. تیم‌های عملیاتی هوش مصنوعی به صف‌های کاری و احساس ناخوشایندی که وقتی یک گره در درازمدت از بین می‌رود، به وجود می‌آید، فکر می‌کنند. فکر می‌کنم هنوز هم می‌توانید هر دو را «مرکز داده» بنامید، چون واقعاً همین‌طور هستند. این برچسب فقط لوله‌کشی را پنهان می‌کند.

رتبه‌بندی اخلاقی نیست. دستگاه‌های مختلف، نام خانوادگی یکسان.

پردازنده‌های گرافیکی، شتاب‌دهنده‌ها و رکی که برق را می‌بلعد

اگر از یک طبقه‌ی کاذب سنتی عبور کنید، قفسه‌ها تقریباً مودب به نظر می‌رسند. اگر از یک ردیف سیستم هوش مصنوعی عبور کنید، انگار می‌خواهند ساختمان را ببلعند.

سخت‌افزار برجسته، یک پردازنده‌ی مرکزی هوشمند نیست. بلکه سینی شتاب‌دهنده است: پردازنده‌های گرافیکی یا سایر تراشه‌های هوش مصنوعی، که در سرورها، سپس رک‌ها و سپس ردیف‌هایی که یک شبکه‌ی پهنای باند بالا را به اشتراک می‌گذارند، قرار گرفته‌اند. پردازنده‌ی گرافیکی، تراشه‌ها را به چیزی متصل می‌کند که می‌تواند وانمود کند یک شتاب‌دهنده‌ی غول‌پیکر است؛ شبکه‌ی خوشه‌ای نیز همین کار را در مقیاس سطری انجام می‌دهد. آموزش موازی فقط در صورتی کار می‌کند که آن پیوندها حجیم و قابل پیش‌بینی باقی بمانند. اگر این را از دست بدهید، «خوشه» شما انبوهی از ایستگاه‌های کاری گران‌قیمت است که یک کد پستی را به اشتراک می‌گذارند.

برق از چیپ‌ها پیروی می‌کند. نه یک PDU اداری بزرگ. وقتی یک سالن پر می‌شود، مگاوات بار IT - من عددی اختراع نمی‌کنم. تراکم در هر رک، پیچش داستانی است. رک‌های کمتر. هر کدام یک کوره کوچک. عامل محدودکننده اغلب پست برق است، نه فهرست دلخواه GPUها. می‌دانید که اوضاع چطور است: تدارکات شتاب‌دهنده‌های بیشتری می‌خواهد؛ شرکت برق یک مکالمه طولانی و یک چک بسیار بزرگ می‌خواهد.

یک استعاره‌ی کمی احمقانه که نمی‌توانم از آن دست بردارم: قفس یک حیوان گرسنه است. می‌توانید یک حیوان سریع‌تر را پرورش دهید. هنوز هم باید به آن غذا بدهید و هنوز هم باید گرما را از بین ببرید. از هر کدام که بگذرید، به یک وزنه کاغذی بسیار پرهزینه تبدیل می‌شود.

مشکل برق، گرما و خنک‌کننده

برق وارد می‌شود. گرما خارج می‌شود. این کل دین است.

رک‌های با چگالی بالا گرما را به گونه‌ای دفع می‌کنند که هرگز از هوا خواسته نشده بود آن را مدیریت کند. می‌توانید هوا را با فشار بیشتری هدایت کنید - مبدل‌های حرارتی درب عقب، راهروهای گرم‌تر، مهار هوشمندانه - و این تا حدی جواب می‌دهد. سپس مایع ظاهر می‌شود:

• خنک‌سازی مستقیم روی تراشه

• حلقه‌های خنک‌کننده که اتاق کارخانه را شبیه یک کارخانه شیمیایی می‌کنند

• غوطه‌ور شدن در چند طرح، که هنوز هم افرادی را که فکر می‌کنند آب و پیشخدمت نباید جمله‌ای را به اشتراک بگذارند، شگفت‌زده می‌کند

هیچ‌کدام از این‌ها جذاب نیستند. همه اینها محصول هستند، زیرا شتاب‌دهنده‌ای که سرعتش کم می‌شود، همانی است که شما قبلاً هزینه‌اش را پرداخت کرده‌اید و نمی‌توانید به‌طور کامل از آن استفاده کنید.

PUE هنوز هم مهم است. این یک نسبت است، نه یک شخصیت. اپراتورها آن را دنبال می‌کنند زیرا هر وات صرف شده برای فن‌ها و پمپ‌ها، واتی است که به پردازنده گرافیکی (GPU) نرفته است. من یک رقم "معمولی" را نقل نمی‌کنم؛ آب و هوا و نحوه ترسیم مرز، آن را تغییر می‌دهد و دقت جعلی از هیچ بدتر است. آب هم در داستان نقش دارد. برخی گیاهان جرعه جرعه می‌نوشند. برخی قورت می‌دهند. خنک‌کننده تبخیری تا زمانی که رودخانه یا خشکسالی آن را سیاسی نکند، کارآمد است.

شبکه‌سازی: چرا پارچه به اندازه تراشه‌ها اهمیت دارد

مردم از پردازنده‌های گرافیکی عکس می‌گیرند. باید از سوئیچ‌ها هم عکس بگیرند.

آموزش یک مکالمه است. هزاران شتاب‌دهنده که گرادیان‌ها، پارامترها و بخش‌هایی از یک مدل را با هماهنگی کامل تبادل می‌کنند. اگر شبکه دچار اختلال شود، کل کار روی کندترین گام منتظر می‌ماند. به همین دلیل است که مراکز هوش مصنوعی روی شبکه‌های با پهنای باند بالا، تأخیر کم و توپولوژی‌هایی که در صورت خرابی یک لینک از وسط نصف نمی‌شوند، وسواس دارند. شبکه‌ای شبیه به InfiniBand، اترنت در همان نقش، اتصالات داخلی GPU در داخل جعبه، کابل‌کشی که باید از همان ابتدا درست باشد.

استنتاج بحث متفاوتی است. مدل سرویس‌دهی به تأخیر در انتهای مسیر اهمیت می‌دهد - پاسخ کند، نه پاسخ متوسط. دسته‌ای در مقابل زمان واقعی، شخصیت را از هم جدا می‌کند. یک کلاستر آموزشی، حرکت حجیم، جمعی و تقریباً همه‌جانبه را. یک ناوگان سرویس‌دهی، درخواست‌های کوچک‌تر و ایزوله، بدون ترافیک در متعادل‌کننده بار را می‌خواهد.

نکته‌ی جالب، تا وقتی من اینجا هستم: مردم با شبکه مثل لوله‌کشی و با چیپس مثل رستوران رفتار می‌کنند. در این ساختمان، لوله‌کشی مثل رستوران است. اگر این را از دست بدهید، آشپزخانه‌ای می‌خرید که نمی‌تواند سفارش‌های پستی را تحویل بگیرد.

آموزش در مقابل استنتاج: دو ساختمان، گاهی اوقات به معنای واقعی کلمه

آموزش یک کمپین است. شما یک کلاستر را مونتاژ می‌کنید، به آن داده می‌دهید، با وسواس بررسی‌های لازم را انجام می‌دهید، ساعت‌ها یا هفته‌ها اجرا می‌شود و دعا می‌کنید که فابریک بدون حادثه باقی بماند. با حجم زیاد داده، تشنه پهنای باند، و صبورانه - تا زمانی که یک گره خراب، سهمی از اجرا را به خود اختصاص دهد. یک شتاب‌دهنده از کار افتاده در یک کار کاملاً جفت‌شده می‌تواند کل گروه کر را متوقف کند.

استنتاج یک فروشگاه است. مدل‌هایی که قبلاً آموزش دیده‌اند، اکنون به سؤالات پاسخ می‌دهند، تصاویر را طبقه‌بندی می‌کنند، متن تولید می‌کنند. تأخیر مهم است. یک شتاب‌دهنده کمی قدیمی‌تر در نزدیکی مشتری می‌تواند یک شتاب‌دهنده جذاب را در یک قاره دورتر شکست دهد.

بنابراین شما دچار اختلاف می‌شوید. پردیس‌های آموزشی به دنبال قدرت، زمین و تراکم هستند. سایت‌های استنتاج به دنبال تأخیر و حضور هستند. سالن‌های ترکیبی نیز وجود دارند، زیرا سرمایه بی‌نهایت نیست. خب - همیشه دو ساختمان نیست. گاهی اوقات یک سالن با طناب مخملی و دو حلقه خنک‌کننده.

این همچنین جایی است که اشتراک مکانی، پردیس‌های فوق مقیاس و انشعاب‌های درون سازمانی ایجاد می‌شود. ابر مقیاس‌ها در مقیاس‌هایی ساخته می‌شوند که باعث می‌شود بقیه ما طوری به نظر برسیم که انگار در حال چیدن مبلمان هستیم. کلوها تراکم را به صورت قفسه‌ای می‌فروشند. درون سازمانی هنوز هم زمانی اتفاق می‌افتد که داده‌ها نمی‌توانند خارج شوند.

توان عملیاتی ذخیره‌سازی، نقاط بازرسی و تراشه‌های گرسنه

هیچ‌کس سیستم فایل موازی را روی جلد بروشور قرار نمی‌دهد.

داده‌های آموزشی باید به اندازه کافی سریع برسند که پردازنده‌های گرافیکی (GPU) نتوانند به درستی کار کنند. نقاط بازرسی باید به درستی تنظیم شوند تا خرابی، یک هفته را از بین نبرد. وزن‌های مدل باید قبل از اینکه یک کپی از آنها فعال شود، بارگذاری شوند. توان عملیاتی ذخیره‌سازی - نه فقط ظرفیت - یک گلوگاه خاموش است. می‌توانید ثروت زیادی را صرف شتاب‌دهنده‌ها کنید و آنها را با یک آرایه مودبانه که برای ماشین‌های مجازی طراحی شده است، از کار بیندازید.

این الگو آشناست: یک کلاستر براق، یک صف کار، و انتظار ورودی/خروجی که مثل یک فاکتور بی‌ادبانه به نظر می‌رسد. خوشه‌بندی محاسبات بدون خوشه‌بندی مسیر داده، روشی است که شما یک بیکاری بسیار پرهزینه را به دست می‌آورید. تراشه‌ها را سیر نگه دارید یا اعتراف کنید که یک مجسمه خریده‌اید.

نرم‌افزار، هماهنگی و لایه عملیاتی نه چندان جذاب

سخت‌افزار شهرت دارد. برنامه‌ریزان کار را انجام می‌دهند.

یک مرکز داده هوش مصنوعی بی‌فایده است اگر کارها نتوانند پردازنده‌های گرافیکی (GPU) پیدا کنند، اگر دو تیم نتوانند بدون درگیری یک کلاستر را به اشتراک بگذارند، اگر یک رتبه شکست‌خورده قابل جایگزینی نباشد، اگر سیستم عامل آنقدر تغییر کند که ساختار به صورت آهسته از کار بیفتد. ارکستراسیون، مشاهده‌پذیری، محدود کردن قدرت - لایه عملیاتی نه چندان جذاب، که به همین دلیل است که شما اهمیت آن را درک می‌کنید.

من به این لایه علاقه‌ی خاصی دارم. همچنین در مواردی که یک کارت شبکه با پیکربندی نادرست، مشکل خنک‌کنندگی را برای یک بعد از ظهر کامل جعل می‌کند... شما به روش سختی متوجه آن می‌شوید.

وقتی یک گره در اواسط اجرا از کار می‌افتد

یک گره از کار می‌افتد. پنجره‌های تغییر هنوز با اجراهای آموزشی که به تقویم شما اهمیتی نمی‌دهند، تداخل دارند. شما کارهای بزرگ را به صورت گروهی برنامه‌ریزی می‌کنید، استخرهای استنتاج را محصور می‌کنید، برای خرابی‌هایی که شبیه "کار کند است" به نظر می‌رسند، دفترچه‌های اجرایی می‌نویسید تا زمانی که شبیه "کار از کار افتاده" شوند. افزونگی هنوز مهم است - برق، خنک‌کننده، مسیرها، ذخیره‌سازی - اما حالت خرابی به اندازه اسلاید قدیمی نه ساعت آپتایم مرتب نیست. استنتاج: کپی، گره بیمار را تخلیه کنید، به پاسخگویی ادامه دهید. آموزش به ایست‌های بازرسی نیاز دارد، نه خوش‌بینی.

موقعیت مکانی، آب، شبکه برق و همسایگان

شما یکی از اینها را کنار کلبه برای منظره نمی‌اندازید.

اتصال به شبکه برق اغلب فرآیند واقعی انتخاب مکان است. زمین در مقایسه با یک پست برق و یک شرکت برق که مشتریان دیگری دارد، آسان‌تر است. آب برای خنک کردن، اگر از آن استفاده کنید، به محض اینکه بارندگی شدید شود، به یک مشکل همسایه تبدیل می‌شود. سر و صدا. حجم بصری. گرما در حصار مرزی. کمیته‌های برنامه‌ریزی در لحظه‌ای که "ابر" به یک مزرعه و یک رودخانه نیاز دارد، نظراتی در مورد آن پیدا می‌کنند.

تأخیر، جهت مخالف را نشان می‌دهد. استنتاج دوست دارد نزدیک کاربران و اتصالات باشد. آموزش می‌تواند در بازارهای برق ارزان‌تر و آب و هوای خنک‌تر پنهان شود. صنعت طوری صحبت می‌کند که انگار یک سایت بی‌نقص وجود دارد. اما اینطور نیست. با یک بیانیه مطبوعاتی، نوعی مصالحه وجود دارد.

گرمای مانده و کوره‌ی ناخوانده

بروشورها عاشق این قسمت هستند. گرمای هدر رفته را به خانه‌ها، استخرها، گلخانه‌ها منتقل کنید؛ جمله‌ی زیبایی است. گاهی اوقات حلقه‌ی منطقه‌ای واقعی است. گاهی اوقات محوطه‌ی دانشگاه در جای اشتباهی قرار دارد و گرما همچنان به هوا می‌رود. من به نسخه‌ی بروشور شک دارم؛ من به فیزیک شک ندارم.

چه کسی به آن نیاز دارد (و چه کسی باید آن را اجاره کند)

بیشتر مردم نیازی به داشتن یکی از این سالن‌ها ندارند.

فهرست صریح:

• هایپراسکالرها، چون محصول، ناوگان است

• آزمایشگاه‌ها، زمانی که زمان صف، گلوگاه است، یا داده‌ها نمی‌توانند خارج شوند

• یک بانک، گروه بیمارستانی، دولت یا تولیدکننده با مجموعه داده‌های مخفی - چه در محل کار و چه در یک قفس خصوصی - می‌تواند منطقی باشد، حتی اگر بی‌ارزش باشد

بقیه باید اجاره کنند. اشتراک مکانی با تراکم آماده برای هوش مصنوعی. رزرو ابری. یک کلاستر مدیریت‌شده. شما شتاب‌دهنده‌ها را دریافت می‌کنید بدون اینکه اپراتور نیروگاه هم شوید. اولین باری که کسی می‌پرسد چه کسی ساعت ۳ صبح برای حلقه خنک‌کننده در حال آماده‌باش است، این حس عاشقانه محو می‌شود.

قبول دارم که یه جورایی غرور وجود داره. داشتن کلاستر مثل داشتن ابزار پیش‌بینیه. بعد صورتحساب برق میاد و غرور کنار می‌ره.

ساختمان برای چیست؟

بنابراین، یک مرکز داده هوش مصنوعی چیست؟ یک محوطه تخصصی و با تراکم بالا که در آن شتاب‌دهنده‌ها، برق، خنک‌کننده، پارچه و ذخیره‌سازی حول مدل‌های آموزشی و خدماتی سازماندهی شده‌اند - نه فناوری اطلاعات همه‌کاره با یک پردازنده گرافیکی در گوشه آن. شبیه یک انبار است. مانند یک نیروگاه عمل می‌کند که محاسبات انجام می‌دهد.

اگر چیز دیگری را به خاطر نیاورید: تراشه‌ها شهرت پیدا می‌کنند؛ پست برق، مایع خنک‌کننده و شبکه تصمیم می‌گیرند که آیا آن تراشه‌ها ایده خوبی بوده‌اند یا خیر. آموزش و استنتاج می‌توانند در یک سقف مشترک باشند؛ آنها هنوز هم روش‌های متفاوتی می‌خواهند. اکثر سازمان‌ها باید اجاره کنند. تعداد کمی باید بسازند. همسایه‌ها در هر صورت متوجه خواهند شد.

ابر همیشه یک ساختمان داشت. این روزها این ساختمان نظرات خودش را دارد.

مثال دنیای واقعی: یک سلول آموزشی دو قفسه‌ای وقتی تصاویر نمی‌توانند خارج شوند

سناریو

توموس سرپرست زیرساخت در کسترل پرسیژن، یک تولیدکننده ۴۰۰ نفره در وست میدلندز است. آنها در حال حاضر یک سالن کوچک در محل کار دارند: ERP، اشتراک‌گذاری فایل، ماشین‌های مجازی، و ترکیبی از این موارد که این مقاله با آنها شروع شد. خنک‌کننده هوا. اترنت معمولی. یک SAN که کاملاً مناسب دیسک‌های اداری است.

تیم بینایی ماشین باید یک مدل بازرسی را روی عکس‌های کارخانه آموزش دهد. عکس‌های گرفته شده نمی‌توانند از سایت خارج شوند. آن‌ها فرآیندی را نشان می‌دهند که شرکت روی دیسک ابری، حتی یک دیسک خصوصی، قرار نمی‌دهد. راه‌حل شرکت Procurement، چهار سرور شتاب‌دهنده دوگانه و یک اسلاید با عنوان «مرکز داده هوش مصنوعی ما» است. سرورها در دو رک موجود قرار می‌گیرند، زیرا فضا وجود دارد و فضا به عنوان محدودیت احساس می‌شود.

اینطور نیست. ظرف دو هفته، پردازنده‌های گرافیکی (GPU) به نظر مشغول می‌رسند و سپس به آرامی افت می‌کنند. وقتی یک نقطه‌ی بازرسی به SAN می‌رسد، کارها به کندی پیش می‌روند. یک گره در ساعت یازده از کار می‌افتد و اجرا... از بین می‌رود. توموس در خرید تراشه‌ها شکست نخورده است. او انبوهی از ایستگاه‌های کاری گران‌قیمت را که کد پستی مشترکی دارند، خریداری کرده است. ساختمان هنوز یک سالن سازمانی بود.

آنها به محوطه دانشگاه، پست برق جدید یا رودخانه نیاز ندارند. آنها به یک سلول کوچک نیاز دارند که مانند یک مرکز داده هوش مصنوعی در ابعاد مینیاتوری رفتار کند: برقی که رک‌ها واقعاً بتوانند نگه دارند، گرمایی که بدون پختن تراشه‌ها خارج شود، پارچه‌ای که کار آموزشی بتواند روی آن صحبت کند، فضای ذخیره‌سازی که بتواند یک نقطه بازرسی را اشغال کند و یک دفترچه راهنما برای زمانی که یک گره از کار می‌افتد. از آنجا که تصاویر نمی‌توانند خارج شوند، اجاره یک قفس کولو چهل دقیقه دورتر راه حل نیست. مقاوم‌سازی دو رک راه حل است.

آنچه سلول نیاز دارد

• یک بودجه‌ی توان اندازه‌گیری‌شده روی آن ردیف، از PDUها، نه از لیست دلخواه GPU. اگر ظرفیت اضافی نتواند چهار سرور را در بار آموزشی تغذیه کند، گفتگو در همانجا متوقف می‌شود و آنها به دنبال یک رنگ‌بندی متراکم‌تر هستند، نه یک معجزه

• هرگز از خنک کردن هوا در این تراکم خواسته نشده بود: اگر سالن بتواند از مبدل‌های حرارتی درب عقب استفاده کند، یا اگر بتواند از یک حلقه مایع کوچک استفاده کند. اگر هیچ‌کدام از این دو مورد را نداشته باشد، سرورها وارد نمی‌شوند

• یک شبکه اختصاصی با پهنای باند بالا بین چهار گره، نه اترنت اداری. اگر فروشنده فقط یک سوئیچ 10 گیگابایتی در کاتالوگ خود داشته باشد، آن یک کلاستر نیست

• فضای ذخیره‌سازی سریع محلی برای نقاط کنترل و بخش‌های آموزشی، نه VM SAN

• یک زمانبند، یک بازه زمانی برای بررسی وضعیت و یک مسیر شروع مجدد نوشته شده. سخت‌افزار عنصر اصلی است. این لایه وظیفه دارد

• یک جعبه استنتاج محصور برای خط تولید کارخانه، جدا از پچ پچ‌های آموزشی، زیرا خدمت‌رسانی به کارکنان، تأخیر دم و انزوا می‌خواهد، نه یک محیط جمعی

• اجازه ثبت اطلاعات مربوط به توان، کلاک پردازنده گرافیکی، رویدادهای مربوط به دریچه گاز و ساعت دیواری. اگر نتوانند این موارد را بررسی کنند، از پردازنده‌های گرافیکی عکس می‌گیرند و سوئیچ‌ها را از دست می‌دهند

دستورالعمل مثال

توموس این را به زبان ساده و عامیانه در خلاصه امکانات بیان می‌کند:

اینجا را پردیس هوش مصنوعی ننامید. یک سلول آموزشی دو رکی در سالن موجود برای چهار سرور دو شتاب‌دهنده بسازید. تصاویر کارخانه در محل باقی می‌مانند. موفقیت یعنی: چهار گره یک دستورالعمل آموزشی-بازرسی ۱۲ دوره‌ای را بدون دریچه گاز حرارتی تکمیل کنند، یک نقطه بررسی را در عرض چند دقیقه بنویسند نه ده‌ها دقیقه، و وقتی یک رتبه را عمداً از بین می‌بریم، از آن نقطه بررسی دوباره شروع کنند. خنک‌کننده باید GPUها را در ساعت‌های آموزشی خود نگه دارد. شبکه باید یک پارچه باشد که آن چهار جعبه به اشتراک می‌گذارند، نه مسیری از طریق پشته دفتر. ذخیره‌سازی باید تراشه‌ها را تغذیه کند. اگر مبدل‌های حرارتی درب عقب جا نمی‌شوند، این را بگویید و متوقف شوید. برای دو رک در یک سالن مختلط، PUE را اعلام نکنید. این عدد مثل یک تئاتر خواهد بود.

سپس او این را در خودِ کارِ آموزشی قرار می‌دهد:

هر 30 دقیقه به fast pool محلی، یک چک‌پوینت بدهید. اگر یک رتبه از بین رفت، از آخرین چک‌پوینت کامل، بازی را دوباره شروع کنید. منتظر SAN نمانید. تا زمانی که ساعت‌ها از گرما افتاده‌اند، تمرین را ادامه ندهید. آن را ثبت کنید و متوقف شوید تا بتوانیم stall را ببینیم.

یک ساعت خوب به این شکل است: هر هشت پردازنده گرافیکی در ساعت‌های آموزشی هستند، فایل چک‌پوینت ثبت شده، کار هنوز در حال انجام است. یک ساعت بد به این شکل است: فن‌ها با حداکثر سرعت کار می‌کنند، ساعت‌ها خاموش هستند، چک‌پوینت ۲٪ بعد از ده دقیقه نوشته شده است، و کسی در دفتر می‌گوید "کلاستر آماده است". آماده بودن به معنای آموزش نیست.

چگونه آن را آزمایش کنیم

آنها قبل از مقاوم‌سازی، تست را می‌نویسند، که کل نکته‌ی عدم اعتماد به یک نسخه آزمایشی است.

• همان دستور پخت ۱۲ مرحله‌ای، همان ۱۲۰،۰۰۰ عکس بازرسی، هشت بار اجرا

• زمان‌بندی به صورت ساعت دیواری تا پایان دستور پخت، شامل هرگونه راه‌اندازی مجدد، از زمان ارسال کار تا آخرین نقطه بررسی دوره ۱۲ اندازه‌گیری می‌شود

• گذر از گرما: کلاک‌های پردازنده گرافیکی در طول اجرا در هدف آموزشی باقی می‌مانند. یک رویداد دریچه گاز حتی اگر کار در نهایت به پایان برسد، یک شکست محسوب می‌شود

• گذری بر ذخیره‌سازی: زمان نوشتن در نقطه بررسی، میانگین و بدترین حالت، از گزارش کار

• یک پارچه‌ی بی‌کیفیت: کار در انتظار جمعی نمی‌ماند در حالی که یک رتبه سالم است. اگر آنها نتوانند آن انتظار را ببینند، ابزار دقیق انجام نمی‌شود

• دو تا از هشت اجرا، عمداً باعث کشته شدن یک رتبه در یک مرحله ثابت می‌شوند تا مسیر شروع مجدد را آزمایش کنند

• استنتاج یک آزمون جداگانه ۲۰۰ تصویری از خط تولید کارخانه تا جعبه سرو حصارکشی شده است. موفقیت در آموزش به عنوان موفقیت در سرو محسوب نمی‌شود

• آنها توان رک را از PDUها در نمونه‌های ۱۵ دقیقه‌ای ثبت می‌کنند، بنابراین هیچ‌کس مجبور نیست مگاوات اختراع کند

پذیرش برای فراخوانی سلول «آماده برای هوش مصنوعی»: ۸ از ۸ دستور پخت تمام می‌شود؛ ۰ از ۸ دستور پخت دریچه گاز حرارتی را نشان می‌دهد؛ هر دو اجرای متوقف شده از سر گرفته می‌شوند؛ ایست‌های بازرسی برای چند دقیقه باقی می‌مانند. اگر این را از دست بدهند، هنوز یک اتاق سرور با کارت‌های گرافیک شیک دارند.

نتیجه

نتیجه‌ی نمایشی، از یک تست هشت راندی ساختگی، نه یک شکل منتشر شده از کسترل.

فرضیات: چهار سرور دو شتاب‌دهنده در دو رک؛ یک مدل بازرسی؛ ۱۲۰۰۰۰ عکس ثابت؛ هشت بار اجرای یک دستور پخت ثابت ۱۲ مرحله‌ای؛ ساعت دیواری شامل راه‌اندازی مجدد تا زمان اتمام دستور پخت است؛ دریچه گاز به معنای ثبت زمان رهاسازی از ساعت آموزشی است؛ زمان ایست بازرسی، زمان نوشتن است، نه آرزو؛ برق رک، نمونه‌های PDU است، نه PUE دانشگاه.

قبل از مقاوم‌سازی، پردازنده‌های گرافیکی (GPU) در رک‌های معمولی با خنک‌کننده هوا روی اترنت اداری و VM SAN:

• ۵ تا از ۸ راند در اولین تلاش به پایان رسید. میانگین ساعت دیواری در بین این پنج تا: ۱۴ ساعت

• ۳ مورد از ۸ مورد مجبور شدند پس از توقف در حدود ساعت ۱۱ دوباره شروع کنند (دو مورد پس از از کار افتادن یک گره با یک چک‌پوینت قدیمی، و یک مورد پس از پر شدن SAN توسط یک چک‌پوینت). تلاش مجدد فوری، بدون انتظار شبانه: ۱۱ ساعت اتلاف وقت به علاوه ۱۴ ساعت تلاش دوم، یا ۲۵ ساعت تا تکمیل دستور پخت در آن سه مورد

• میانگین زمان لازم برای آماده شدن یک دستور غذا در هر هشت دستور، با احتساب زمان‌های شروع مجدد: ۱۸ ساعت. (پنج دستور در ساعت ۱۴، سه دستور در ساعت ۲۵. میانگین هر هشت دستور هنوز ۱۴ است که زمان‌های شروع مجدد را پنهان می‌کند. به همین دلیل است که میانگین در اینجا مبنا است.)

• دریچه گاز حرارتی در ۷ از ۸ اجرا فعال شد. میانگین زمان با کاهش ساعت: ۳ ساعت در یک تلاش ۱۴ ساعته

• نوشتن در ایست بازرسی: میانگین ۲۲ دقیقه

• کشتن با اسلحه کمری آزمونی نبود که بتوانند در آن قبول شوند. آنها دفترچه‌ی راهنما نداشتند. دو مرگ تصادفی، یافته‌ی آنها بود

• اوج مصرف فاوا در دو رک در طول آموزش: حدود ۱۸ کیلووات. ردیف وات داشت. سیستم خنک‌کننده یا پارچه نداشت

پس از مبدل‌های حرارتی درب عقب در آن دو رک، یک فضای ذخیره‌سازی اختصاصی بین چهار گره، یک مخزن کوچک NVMe برای نقاط بازرسی، نقطه بازرسی 30 دقیقه‌ای و یک دفترچه راهنمای راه‌اندازی مجدد:

• ۸ نفر از ۸ نفر در اولین تلاش به هدف خود رسیدند. میانگین ساعت دیواری: ۹ ساعت

• دریچه گاز حرارتی: ۰ از ۸

• نوشتن در نقطه بازرسی: میانگین ۹۰ ثانیه. بدترین حالت در مجموعه: ۳ دقیقه

• هر دو حمله عمدی با هدف کشتن افراد از طریق درجه، از ایست بازرسی ۳۰ دقیقه‌ای قبلی از سر گرفته شدند. ساعت دیواری اضافی در آن دو حمله: هر کدام حدود ۴۰ دقیقه، شامل تشخیص، بنابراین آن دو حمله نزدیک به ۹ ساعت و ۴۰ دقیقه طول کشید. میانگین در هشت راند ثابت به ۹ ساعت می‌رسد

• اوج مصرف فاوا هنوز حدود ۱۸ کیلووات است. تراشه‌ها یکسان هستند. رفتار ساختمان متفاوت است

در این نمونه، میانگین زمان لازم برای تکمیل یک دستور غذا از ۱۸ ساعت به ۹ ساعت، یا ۹ ساعت برای هر کدام، کاهش یافت که معادل ۷۲ ساعت در هشت نوبت اجرا بود. نوبت اول تکمیل شده از ۵ از ۸ به ۸ از ۸ رسید. نوبت تراتل از ۷ از ۸ به ۰ از ۸ رسید. آخرین عدد، عددی است که نشان می‌دهد آیا آنها شتاب‌دهنده خریده‌اند یا وزنه کاغذ. آنها این تغییر زمان را صرفه‌جویی ۵۰ درصدی در تولید نمی‌نامند. هشت نوبت اجرا، عدد کوچک و آسانی است.

این ارقام، یک تخمین نمونه بر اساس آزمایش ذکر شده، یک نمونه کوچک، یک مدل و یک سالن مختلط هستند. آنها نه PUE هستند، نه مگاوات دانشگاه، و نه مدرکی دال بر اینکه کسترل باید یک سایت آموزشی در یک مزرعه بسازد. بررسی گزارش‌ها در داخل ۹ ساعت قرار داشت؛ آنها این را پنهان نکردند. رقم ۱۸ کیلووات، یک قرائت گرد شده PDU است، نه یک فاکتور آب و برق. آنها ۷۲ ساعت را به هزینه تبدیل نکردند، زیرا نرخ برق ترکیبی کارخانه می‌توانست یک توجیه تجاری جعلی ایجاد کند.

چک سرویس جداگانه و کوچکتر بود: ۲۰۰ تصویر خط به جعبه حصارکشی شده، همه در محل. این استنباط است، نه آموزش. مخلوط کردن این دو، اشتباه ترکیبی-سالن در مقیاس کوچک بود.

چه چیزی می‌تواند اشتباه پیش برود؟

• بخش تدارکات مدام چهار سرور را «مرکز داده هوش مصنوعی» می‌نامد. این برچسب، لوله‌کشی را پنهان می‌کند و خرید بعدی، پردازنده‌های گرافیکی بیشتر برای همان راهروی بیمار است

• مبدل‌های حرارتی در عقب کار می‌کنند و هیچ‌کس سمت آب را روشن نمی‌کند. فن‌ها هنوز فریاد می‌زنند. ساعت‌ها هنوز پایین می‌آیند

• فابریک یک سوئیچ تکی بدون مسیر اضافی است. یک لینک خراب می‌شود و "خوشه" دوباره چهار ایستگاه کاری می‌شود

• نقاط بازرسی روی SAN باقی می‌مانند زیرا NVMe pool «مرحله دوم» بوده است. مرحله دوم قبل از گره مرده بعدی از راه نمی‌رسد

• آنها برای دو رک در یک سالن مختلط، PUE را اعلام می‌کنند. آب و هوا، مرز و بقیه ردیف ERP، این نسبت را به یک لباس مبدل تبدیل می‌کند

• آموزش و خدمت‌رسانی، تار و پود کار را به اشتراک می‌گذارند. سیل ایست‌های بازرسی، خط کارخانه را معطل می‌کند. تأخیر در دم، محصول آن است، نه تراکم

• یک گره از کار می‌افتد و کسی آن را به عنوان یک تیکت آپتایم به جای یک چک‌پوینت ریستارت در نظر می‌گیرد. تیم‌های عملیاتی سازمانی و هوش مصنوعی تمام بعدازظهر را با هم صحبت می‌کنند

• آنها می‌توانستند یک قفس اجاره کنند، اما تصاویر نمی‌توانند آنجا را ترک کنند. فراموش کردن این محدودیت، آنها را به یک مکالمه ابری می‌اندازد که باید در آن استراحت کنند

نکته کاربردی

یک مرکز داده هوش مصنوعی، به این شکل، انبار نیست و فاکتور GPU هم نیست. این سلول است که به شتاب‌دهنده‌ها اجازه می‌دهد اجرا را تمام کنند: توانی که می‌توانند نگه دارند، گرمایی که باقی می‌ماند، یک پارچه، یک ایست بازرسی و کسی که وقتی یک رتبه از بین می‌رود، در دام می‌افتد. کسترل به یک محوطه دانشگاه نیاز نداشت. آنها به دو رک نیاز داشتند تا تظاهر را کنار بگذارند. اکثر تیم‌ها باید این رفتار را اجاره کنند. تعداد کمی، با یک مجموعه داده مخفی و سالنی که می‌تواند گرما را تحمل کند، باید یک سلول بسازند و از اسلاید خودداری کنند.

سوالات متداول

مرکز داده هوش مصنوعی چیست؟

یک سایت محاسباتی با تراکم بالا که در آن برق، خنک‌کننده، شبکه و ذخیره‌سازی حول آموزش موازی و سرویس‌دهی مدل متمرکز شده‌اند، نه ردیف‌های مرتب سرورهای همه‌کاره. این سایت به گونه‌ای طراحی شده است که تعداد زیادی شتاب‌دهنده بتوانند مدل‌ها را بدون ذوب شدن، توقف در شبکه یا انتظار روی دیسک، آموزش داده و سرویس‌دهی کنند. یک سالن سازمانی معمولی، یک محله مختلط است. یک سالن هوش مصنوعی، یک تک‌محصولی است که واحد ارزش آن شتاب‌دهنده است، مانند پردازنده‌های گرافیکی یا تراشه‌های به سبک TPU. شبیه یک انبار به نظر می‌رسد و مانند یک نیروگاه که محاسبات ریاضی انجام می‌دهد، رفتار می‌کند.

یک مرکز داده هوش مصنوعی چه تفاوتی با یک مرکز داده معمولی دارد؟

سالن‌های سنتی برای حجم کاری و زمان آماده به کار مختلط در میان تعداد زیادی سرویس کوچک بهینه می‌شوند. سایت‌های هوش مصنوعی نسبت‌ها را برعکس می‌کنند: تراکم افزایش می‌یابد، شبکه به پارچه‌ای تبدیل می‌شود که کار آموزشی بدون آن نمی‌تواند لنگ بزند، و ذخیره‌سازی باید ایست‌های بازرسی را در حال حرکت نگه دارد یا شتاب‌دهنده‌ها بیکار بمانند. عملیات سازمانی به بلیط‌ها و پنجره‌های تغییر فکر می‌کند. عملیات هوش مصنوعی به صف‌های کاری و احساس ناخوشایندی که وقتی یک گره در درازمدت از بین می‌رود، به آن دست می‌یابد. شما هنوز هم می‌توانید با هر دو مرکز داده تماس بگیرید. این برچسب فقط لوله‌کشی را پنهان می‌کند.

چرا مراکز داده هوش مصنوعی اینقدر برق مصرف می‌کنند؟

سخت‌افزار برجسته، یک پردازنده‌ی مرکزی هوشمند نیست. بلکه سینی شتاب‌دهنده است: پردازنده‌های گرافیکی یا سایر تراشه‌های هوش مصنوعی، که در سرورها، سپس رک‌ها و سپس ردیف‌هایی که پهنای باند بالایی را به اشتراک می‌گذارند، قرار گرفته‌اند. تراکم در هر رک، پیچش داستانی است: رک‌های کمتر، هر کدام یک کوره کوچک. مگاوات بار IT زمانی ظاهر می‌شود که یک سالن پر شود، هرچند ابداع یک رقم معمول ارزشش را ندارد. عامل محدودکننده اغلب پست برق است، نه فهرست آرزوهای پردازنده‌های گرافیکی.

مراکز داده هوش مصنوعی چگونه خنک می‌شوند؟

رک‌های با چگالی بالا گرما را به گونه‌ای دفع می‌کنند که هرگز از هوا خواسته نشده بود آن را مدیریت کند. می‌توانید با مبدل‌های حرارتی درب عقب، راهروهای گرم‌تر و مهار هوشمندانه، هوا را با فشار بیشتری فشار دهید. سپس مایع ظاهر می‌شود: خنک‌سازی مستقیم به تراشه، حلقه‌های خنک‌کننده و غوطه‌وری در چند طرح. شتاب‌دهنده‌ای که دچار انسداد می‌شود، شتاب‌دهنده‌ای است که قبلاً هزینه آن را پرداخت کرده‌اید و نمی‌توانید به طور کامل از آن استفاده کنید. PUE هنوز هم مهم است زیرا هر وات صرف شده برای فن‌ها و پمپ‌ها، وات است که به پردازنده گرافیکی (GPU) نرفته است. آب نیز در این داستان نقش دارد: برخی از گیاهان جرعه جرعه می‌نوشند، برخی دیگر می‌نوشند.

چرا شبکه به اندازه پردازنده‌های گرافیکی اهمیت دارد؟

آموزش یک مکالمه است: هزاران شتاب‌دهنده که گرادیان‌ها، پارامترها و بخش‌هایی از یک مدل را با هماهنگی کامل تبادل می‌کنند. اگر شبکه دچار اختلال شود، کل کار در کندترین گام منتظر می‌ماند. به همین دلیل است که اتاق‌های هوش مصنوعی روی شبکه‌های با پهنای باند بالا، تأخیر کم، شبکه‌ها یا اترنت در حد InfiniBand در همان نقش و توپولوژی‌هایی که هنگام خرابی یک لینک از وسط نصف نمی‌شوند، وسواس دارند. استنتاج به تأخیر دنباله، درخواست‌های کوچک‌تر زیاد و ایزوله‌سازی اهمیت می‌دهد. در این ساختمان، لوله‌کشی رستوران است.

مرکز داده هوش مصنوعی برای چه مواردی استفاده می‌شود: آموزش یا استنتاج؟

آموزش یک کمپین است: یک کلاستر را جمع‌آوری کنید، به آن داده بدهید، با وسواس بررسی کنید و ساعت‌ها یا هفته‌ها اجرا کنید. استنتاج یک فروشگاه است: مدل‌هایی که قبلاً آموزش دیده‌اند، اکنون پاسخ می‌دهند، با تأخیری که اهمیت دارد. مراکز آموزشی به دنبال قدرت، زمین و تراکم هستند. سایت‌های استنتاج به دنبال تأخیر و حضور هستند. سالن‌های ترکیبی وجود دارند زیرا سرمایه بی‌نهایت نیست، گاهی اوقات یک سالن با دو حلقه خنک‌کننده. یک شتاب‌دهنده کمی قدیمی‌تر در نزدیکی مشتری می‌تواند یک شتاب‌دهنده جذاب را در یک قاره دورتر شکست دهد.

چرا فضای ذخیره‌سازی در یک مرکز داده هوش مصنوعی اهمیت دارد؟

داده‌های آموزشی باید به اندازه کافی سریع برسند که پردازنده‌های گرافیکی (GPU) نتوانند به درستی کار کنند. نقاط بازرسی باید به درستی تنظیم شوند تا خرابی، یک هفته را از بین نبرد. وزن‌های مدل باید قبل از اینکه یک کپی از آن فعال شود، بارگذاری شوند. توان عملیاتی ذخیره‌سازی، نه فقط ظرفیت، یک گلوگاه خاموش است. می‌توانید ثروت زیادی را صرف شتاب‌دهنده‌ها کنید و آنها را با یک آرایه مودب که برای ماشین‌های مجازی طراحی شده است، از کار بیندازید.

چه اتفاقی می‌افتد وقتی یک گره در اواسط اجرا از کار می‌افتد؟

یک شتاب‌دهنده‌ی از کار افتاده در یک کار آموزشیِ به‌هم‌پیوسته می‌تواند کل کار را متوقف کند. آموزش به نقاط بازرسی نیاز دارد، نه خوش‌بینی. استنتاج، گره‌ی بیمار را تخلیه می‌کند، یک نسخه‌ی تکراری را در حال پاسخگویی نگه می‌دارد و فعال می‌ماند. پنجره‌های تغییر هنوز با اجراهای آموزشی که به تقویم شما اهمیتی نمی‌دهند، تداخل دارند. افزونگی هنوز برای برق، خنک‌کننده، مسیرها و ذخیره‌سازی مهم است، اما حالت خرابی به اندازه‌ی اسلاید قدیمیِ نه دقیقه‌ی آپتایم، مرتب نیست.

تأثیر یک مرکز داده هوش مصنوعی بر شبکه برق، آب و همسایگان چیست؟

اتصال به شبکه برق اغلب فرآیند واقعی انتخاب محل است. زمین در مقایسه با یک پست برق و یک شرکت برق که مشتریان دیگری دارد، آسان‌تر است. آب برای خنک کردن، اگر از آن استفاده کنید، به محض اینکه بارندگی شدید شود، به همراه سر و صدا، حجم بصری و گرما در حصار مرزی، به یک مشکل همسایه تبدیل می‌شود. آموزش می‌تواند در بازارهای برق ارزان‌تر و آب و هوای خنک‌تر پنهان شود. استنتاج دوست دارد در نزدیکی کاربران باشد. هیچ مکان کاملی وجود ندارد. با یک بیانیه مطبوعاتی، مصالحه‌ای وجود دارد.

آیا باید یک مرکز داده هوش مصنوعی داشته باشم یا باید آن را اجاره کنم؟

اکثر مردم نیازی به داشتن یکی از این سالن‌ها ندارند. شرکت‌های بزرگ (Hyperscalers) می‌سازند زیرا محصول، ناوگان است. آزمایشگاه‌ها زمانی می‌سازند که زمان صف، گلوگاه است یا داده‌ها نمی‌توانند خارج شوند. یک بانک، بیمارستان، دولت یا تولیدکننده با یک مجموعه داده مخفی می‌تواند اجاره حضوری یا یک قفس کلو خصوصی را منطقی کند. هر کس دیگری باید اجاره کند: مکان اشتراکی آماده هوش مصنوعی، رزرو ابری یا یک خوشه مدیریت‌شده. شما شتاب‌دهنده‌ها را بدون تبدیل شدن به یک اپراتور نیروگاه دریافت می‌کنید.

منابع

1. آژانس بین‌المللی انرژی - www.iea.org

2. LBNL - datacenters.lbl.gov

3. شبکه سبز - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. موسسه آپتایم – journal.uptimeinstitute.com

7. انویدیا - developer.nvidia.com

8. انویدیا - docs.nvidia.com

9. انویدیا - docs.nvidia.com

10. انویدیا - docs.nvidia.com

11. گوگل کلود - docs.cloud.google.com

جدیدترین هوش مصنوعی را در فروشگاه رسمی دستیار هوش مصنوعی پیدا کنید

درباره ما