هوش مصنوعی چگونه روندها را پیش‌بینی می‌کند؟

هوش مصنوعی می‌تواند الگوهایی را که چشم غیرمسلح نمی‌بیند، تشخیص دهد و سیگنال‌هایی را آشکار کند که در نگاه اول مانند نویز به نظر می‌رسند. اگر درست انجام شود، رفتارهای آشفته را به پیش‌بینی مفید تبدیل می‌کند - فروش ماه آینده، ترافیک فردا، ریزش اواخر این سه‌ماهه. اگر اشتباه انجام شود، فقط یک شانه بالا انداختن مطمئن است. در این راهنما، ما به طور دقیق به سازوکار چگونگی پیش‌بینی روندها توسط هوش مصنوعی، منشأ پیروزی‌ها و نحوه جلوگیری از فریب خوردن توسط نمودارهای زیبا خواهیم پرداخت. من سعی می‌کنم با چند لحظه صحبت واقعی و بالا انداختن ابروهای گاه به گاه، آن را کاربردی نگه دارم 🙃.

مقالاتی که شاید بعد از این مطلب دوست داشته باشید بخوانید:

🔗 چگونه عملکرد هوش مصنوعی را اندازه‌گیری کنیم
معیارهای کلیدی برای ارزیابی دقت، کارایی و قابلیت اطمینان سیستم‌های هوش مصنوعی.

🔗 چگونه با هوش مصنوعی صحبت کنیم
نکات کاربردی برای ارتباط با هوش مصنوعی جهت بهبود کیفیت پاسخ.

🔗 هوش مصنوعی چه چیزی را القا می‌کند؟
توضیح واضح در مورد چگونگی تأثیر دستورالعمل‌ها بر رفتار و خروجی هوش مصنوعی.

🔗 برچسب‌گذاری داده‌های هوش مصنوعی چیست؟
مقدمه‌ای بر برچسب‌گذاری مؤثر داده‌ها برای آموزش مدل‌های یادگیری ماشین.

چه چیزی پیش‌بینی روند هوش مصنوعی را خوب می‌کند؟

وقتی مردم می‌پرسند هوش مصنوعی چگونه روندها را پیش‌بینی می‌کند، معمولاً منظورشان این است: چگونه چیزی نامشخص اما تکرارشونده را پیش‌بینی می‌کند. پیش‌بینی خوب روند چند عنصر کسل‌کننده اما زیبا دارد:

• داده‌ها به همراه سیگنال - شما نمی‌توانید آب پرتقال را از سنگ بگیرید. شما به مقادیر و زمینه‌های گذشته نیاز دارید.

• ویژگی‌هایی که واقعیت را منعکس می‌کنند - فصلی بودن، تعطیلات، تبلیغات، شرایط کلان، حتی آب و هوا. نه همه آنها، فقط آنهایی که شما را تحت تأثیر قرار می‌دهند.

• مدل‌هایی که با زمان مطابقت دارند - روش‌های آگاه از زمان که به ترتیب، شکاف‌ها و رانش‌ها توجه می‌کنند.

• ارزیابی که منعکس کننده استقرار است - بک تست هایی که نحوه پیش بینی واقعی شما را شبیه سازی می کنند. بدون سرک کشیدن [2].

• نظارت بر تغییر - جهان تغییر می‌کند؛ مدل شما نیز باید تغییر کند [5].

این اسکلت است. بقیه‌اش عضله، تاندون‌ها و کمی کافئین است.

خط لوله اصلی: چگونه هوش مصنوعی روندها را از داده‌های خام تا پیش‌بینی پیش‌بینی می‌کند 🧪

1. جمع‌آوری و هم‌تراز کردن داده‌ها،
   مجموعه داده‌های هدف به علاوه سیگنال‌های بیرونی را کنار هم قرار دهید. منابع معمول: کاتالوگ‌های محصولات، هزینه‌های تبلیغات، قیمت‌ها، شاخص‌های کلان و رویدادها. مهرهای زمانی را هم‌تراز کنید، مقادیر گمشده را مدیریت کنید، واحدها را استاندارد کنید. این کار ساده اما حیاتی است.

2. ویژگی‌های مهندسی:
   ایجاد تأخیرها، میانگین‌های غلتان، چندک‌های متحرک، پرچم‌های روزهای هفته و شاخص‌های خاص دامنه. برای تنظیم فصلی، بسیاری از متخصصان قبل از مدل‌سازی، یک سری را به اجزای روند، فصلی و باقیمانده تجزیه می‌کنند؛ برنامه X-13 اداره سرشماری ایالات متحده مرجع اصلی برای چگونگی و چرایی این کار است [1].

3. یک خانواده نمونه انتخاب کنید.
   شما سه سطل بزرگ دارید:

• آمار کلاسیک : ARIMA، ETS، فضای حالت/کالمن. قابل تفسیر و سریع.

• یادگیری ماشین : تقویت گرادیان، جنگل‌های تصادفی با ویژگی‌های آگاه از زمان. انعطاف‌پذیر در بسیاری از سری‌ها.

• یادگیری عمیق : LSTM، شبکه‌های عصبی کانولوشن زمانی، تبدیل‌کننده‌ها. وقتی داده‌های زیادی و ساختار پیچیده دارید، مفید است.

4. اعتبارسنجی
   متقابل سری‌های زمانی به درستی انجام می‌شود. اعتبارسنجی متقابل سری‌های زمانی از یک مبدأ غلتان استفاده می‌کند، بنابراین شما هرگز هنگام آزمایش گذشته، روی آینده آموزش نمی‌بینید. این تفاوت بین دقت صادقانه و تفکر آرزومندانه است [2].

5. پیش‌بینی، کمّی‌سازی عدم قطعیت و ارسال.
   پیش‌بینی‌ها را با فواصل زمانی مشخص، نظارت بر خطا و آموزش مجدد با توجه به تغییرات جهان، ارائه دهید. سرویس‌های مدیریت‌شده معمولاً معیارهای دقت (مانند MAPE، WAPE، MASE) و پنجره‌های بک‌تست را به صورت پیش‌فرض در نظر می‌گیرند که این امر، مدیریت و داشبوردها را آسان‌تر می‌کند [3].

یک داستان کوتاه از جنگ: در یک رونمایی، ما یک روز اضافی را صرف ویژگی‌های تقویم (تعطیلات منطقه‌ای + پرچم‌های تبلیغاتی) کردیم و اشتباهات اولیه را به طور قابل توجهی بیشتر از تعویض مدل‌ها کاهش دادیم. کیفیت ویژگی بر نوآوری مدل غلبه کرد - موضوعی که دوباره خواهید دید.

جدول مقایسه: ابزارهایی که به هوش مصنوعی در پیش‌بینی روندها کمک می‌کنند 🧰

عمداً ناقص - یک میز واقعی با چند ویژگی عجیب انسانی.

بله، جمله‌بندی ناهموار است. این زندگی واقعی است.

مهندسی ویژگی‌ها که واقعاً همه چیز را تغییر می‌دهد 🧩

ساده‌ترین پاسخ مفید به چگونگی پیش‌بینی روندها توسط هوش مصنوعی این است: ما این مجموعه را به یک جدول یادگیری نظارت‌شده تبدیل می‌کنیم که زمان را به خاطر می‌سپارد. چند حرکت کاربردی:

• تأخیرها و پنجره‌ها : شامل y[t-1]، y[t-7]، y[t-28]، به علاوه میانگین‌های غلتشی و توسعه استاندارد است. این تابع، تکانه و اینرسی را در نظر می‌گیرد.

• سیگنال‌های فصلی : ماه، هفته، روز هفته، ساعت روز. جملات فوریه منحنی‌های فصلی همواری را ارائه می‌دهند.

• تقویم و رویدادها : تعطیلات، عرضه محصولات، تغییرات قیمت، تخفیف‌ها. جلوه‌های ویژه تعطیلات به سبک پیامبران، فقط ویژگی‌هایی با اولویت‌ها هستند.

• تجزیه : یک جزء فصلی را کم کنید و وقتی الگوها قوی هستند، باقیمانده را مدل‌سازی کنید؛ X-13 یک مبنای آزمایش‌شده برای این کار است [1].

• رگرسیون‌های خارجی : آب و هوا، شاخص‌های کلان، بازدید صفحات، علاقه به جستجو.

• نکات تعاملی : ضربدرهای ساده مانند promo_flag × day_of_week. کمی پیچیده است اما اغلب کار می‌کند.

اگر چندین سری مرتبط دارید - مثلاً هزاران SKU - می‌توانید اطلاعات را با مدل‌های سلسله مراتبی یا سراسری بین آنها جمع‌آوری کنید. در عمل، یک مدل سراسری مبتنی بر گرادیان و با ویژگی‌های آگاه از زمان، اغلب فراتر از وزن خود عمل می‌کند.

انتخاب خانواده‌های نمونه: یک دعوای دوستانه 🤼♀️

• ARIMA/ETS
  : قابل تفسیر، سریع، خطوط پایه محکم. معایب: تنظیم هر سری می‌تواند در مقیاس بزرگ دشوار باشد. خودهمبستگی جزئی می‌تواند به آشکارسازی ترتیب‌ها کمک کند، اما انتظار معجزه نداشته باشید.

• تقویت گرادیان
  مزایا: ویژگی‌های جدولی را مدیریت می‌کند، در برابر سیگنال‌های مختلط مقاوم است، با بسیاری از سری‌های مرتبط عالی است. معایب: شما باید ویژگی‌های زمانی را به خوبی مهندسی کنید و علیت را رعایت کنید.

• یادگیری عمیق
  مزایا: غیرخطی بودن و الگوهای سری متقاطع را ثبت می‌کند. معایب: داده‌محور، اشکال‌زدایی دشوارتر. وقتی زمینه غنی یا تاریخچه‌های طولانی داشته باشید، می‌تواند بدرخشد؛ در غیر این صورت، مثل یک ماشین اسپرت در ترافیک ساعات شلوغی است.

• ترکیبی و ترکیبی
  بیایید صادق باشیم، ترکیب یک خط پایه فصلی با یک تقویت‌کننده گرادیان و ترکیب آن با یک LSTM سبک، یک لذت گناه‌آلود و غیرمعمول نیست. من بارها و بارها از «خلوص تک مدل» عقب‌نشینی کرده‌ام تا اعتراف کنم.

علیت در مقابل همبستگی: با احتیاط رفتار کنید 🧭

صرفاً به این دلیل که دو خط با هم حرکت می‌کنند، به این معنی نیست که یکی دیگری را هدایت می‌کند. علیت گرنجر بررسی می‌کند که آیا اضافه کردن یک محرک کاندید، پیش‌بینی برای هدف را با توجه به تاریخچه آن بهبود می‌بخشد یا خیر. این در مورد سودمندی پیش‌بینی تحت فرضیات خودرگرسیونی خطی است، نه علیت فلسفی - یک تمایز ظریف اما مهم [4].

در محیط عملیاتی، شما همچنان با دانش دامنه، صحت اطلاعات را بررسی می‌کنید. مثال: اثرات روزهای هفته برای خرده‌فروشی مهم است، اما اگر هزینه از قبل در مدل وجود داشته باشد، اضافه کردن کلیک‌های تبلیغاتی هفته گذشته ممکن است زائد باشد.

بک تست و معیارها: جایی که بیشتر خطاها پنهان می‌شوند 🔍

برای ارزیابی اینکه هوش مصنوعی چگونه روندها را به طور واقع‌بینانه پیش‌بینی می‌کند، نحوه پیش‌بینی خود را در شرایط واقعی تقلید کنید:

• اعتبارسنجی متقابل با مبدأ غلتشی : آموزش مکرر روی داده‌های قبلی و پیش‌بینی بخش بعدی. این روش ترتیب زمانی را رعایت می‌کند و از نشت داده در آینده جلوگیری می‌کند [2].

• معیارهای خطا : معیارهایی را انتخاب کنید که با تصمیمات شما سازگار باشند. معیارهای درصدی مانند MAPE محبوب هستند، اما معیارهای وزنی (WAPE) یا معیارهای بدون مقیاس (MASE) اغلب برای پرتفوی‌ها و مجموع‌ها بهتر عمل می‌کنند [3].

• فواصل پیش‌بینی : فقط به ارائه نکته اکتفا نکنید. عدم قطعیت را منتقل کنید. مدیران به ندرت عاشق محدوده‌ها هستند، اما غافلگیری‌های کمتری را دوست دارند.

یک نکته‌ی کوچک: وقتی تعداد آیتم‌ها صفر باشد، معیارهای درصد عجیب می‌شوند. خطاهای مطلق یا مقیاس‌بندی‌شده را ترجیح دهید، یا یک انحراف کوچک اضافه کنید - فقط سازگار باشید.

رانش اتفاق می‌افتد: تشخیص و سازگاری با تغییر 🌊

بازارها تغییر می‌کنند، ترجیحات تغییر می‌کنند، حسگرها پیر می‌شوند. تغییر مفهوم ، کل ماجراست وقتی که رابطه بین ورودی‌ها و هدف تغییر می‌کند. می‌توانید با آزمون‌های آماری، خطاهای پنجره کشویی یا بررسی توزیع داده‌ها، تغییر را رصد کنید. سپس یک استراتژی انتخاب کنید: بازه‌های آموزشی کوتاه‌تر، آموزش مجدد دوره‌ای یا مدل‌های تطبیقی ​​که به صورت آنلاین به‌روزرسانی می‌شوند. بررسی‌های میدانی، انواع تغییر و سیاست‌های تطبیقی ​​متعددی را نشان می‌دهد؛ هیچ سیاست واحدی برای همه مناسب نیست [5].

دفترچه راهنمای کاربردی: آستانه‌های هشدار را برای خطای پیش‌بینی زنده تنظیم کنید، طبق یک برنامه آموزش مجدد دهید و یک خط مبنای جایگزین آماده داشته باشید. خیلی جذاب نیست - خیلی مؤثر است.

قابلیت توضیح: باز کردن جعبه سیاه بدون شکستن آن 🔦

ذینفعان می‌پرسند که چرا پیش‌بینی افزایش یافته است. منطقی است. ابزارهای مستقل از مدل مانند SHAP، پیش‌بینی را به روشی مبتنی بر تئوری به ویژگی‌ها نسبت می‌دهند و به شما کمک می‌کنند تا ببینید آیا فصلی بودن، قیمت یا وضعیت تبلیغات، این عدد را افزایش داده است یا خیر. این روش علیت را اثبات نمی‌کند، اما اعتماد و اشکال‌زدایی را بهبود می‌بخشد.

در آزمایش خودم، پیش‌بینی‌های فصلی هفتگی و پرچم‌های تبلیغاتی معمولاً بر پیش‌بینی‌های خرده‌فروشی کوتاه‌مدت غالب هستند، در حالی که پیش‌بینی‌های بلندمدت به سمت شاخص‌های کلان تغییر می‌کنند. میزان موفقیت شما به طرز دلپذیری متفاوت خواهد بود.

ابر و MLOps: پیش‌بینی‌های حمل و نقل بدون نیاز به چسب نواری 🚚

اگر پلتفرم‌های مدیریت‌شده را ترجیح می‌دهید:

• پیش‌بینی هوش مصنوعی گوگل ورتکس (Google Vertex AI Forecast) یک گردش کار هدایت‌شده برای دریافت سری‌های زمانی، اجرای پیش‌بینی AutoML، بک‌تست و استقرار نقاط پایانی ارائه می‌دهد. همچنین با یک پشته داده مدرن به خوبی کار می‌کند.

• آمازون فیوچرز (Amazon Forecast) بر استقرار در مقیاس بزرگ تمرکز دارد، با معیارهای استاندارد تست بازخورد و دقت که می‌توانید از طریق API استخراج کنید، که به مدیریت و داشبوردها کمک می‌کند [3].

هر دو مسیر، کلیشه‌های تکراری را کاهش می‌دهند. فقط یک چشمتان به هزینه‌ها و چشم دیگرتان به اصل و نسب داده‌ها باشد. هر دو چشم کاملاً مشکل اما قابل انجام است.

یک بررسی موردی کوچک: از کلیک‌های خام تا سیگنال روند 🧭✨

بیایید تصور کنیم که شما در حال پیش‌بینی ثبت نام روزانه برای یک اپلیکیشن فریمیوم هستید:

1. داده‌ها : ثبت نام‌های روزانه، هزینه‌های تبلیغات بر اساس کانال، قطعی سایت و یک تقویم تبلیغاتی ساده را استخراج کنید.

2. ویژگی‌ها : تأخیرهای 1، 7، 14؛ میانگین غلتان 7 روزه؛ پرچم‌های روزهای هفته؛ پرچم تبلیغی دودویی؛ یک عبارت فصلی فوریه؛ و یک باقیمانده فصلی تجزیه‌شده، بنابراین مدل بر بخش غیرتکراری تمرکز می‌کند. تجزیه فصلی یک حرکت کلاسیک در آمار رسمی است - نامی خسته‌کننده، اما نتیجه‌ای بزرگ [1].

3. مدل : با یک رگرسیون تقویت‌شده با گرادیان به عنوان یک مدل سراسری در تمام مناطق جغرافیایی شروع کنید.

4. بک تست : مبدا متحرک با تا شدن‌های هفتگی. WAPE را در بخش اصلی کسب و کار خود بهینه کنید. بک تست‌های زمان‌محور برای نتایج قابل اعتماد غیرقابل مذاکره هستند [2].

5. توضیح دهید : به صورت هفتگی ویژگی‌های مربوط به هر ویژگی را بررسی کنید تا ببینید آیا پرچم تبلیغاتی واقعاً کاری غیر از جذاب به نظر رسیدن در اسلایدها انجام می‌دهد یا خیر.

6. نظارت : اگر تأثیر تبلیغات پس از تغییر محصول کم شد یا الگوهای روزهای هفته تغییر کرد، یک آموزش مجدد را فعال کنید. رانش یک اشکال فنی نیست - امروز چهارشنبه است [5].

خروجی: یک پیش‌بینی معتبر با نوارهای اطمینان، به علاوه داشبوردی که نشان می‌دهد چه چیزی باعث تغییر شده است. بحث‌های کمتر، اقدام بیشتر.

مشکلات و افسانه‌هایی که باید بی‌سروصدا از آنها دوری کنید 🚧

• افسانه: ویژگی‌های بیشتر همیشه بهتر هستند. نه. ویژگی‌های نامربوط زیاد باعث بیش‌برازش می‌شوند. ویژگی‌هایی را نگه دارید که به بک‌تست کمک می‌کنند و با مفهوم دامنه همسو هستند.

• افسانه: شبکه‌های عمیق همه چیز را شکست می‌دهند. گاهی اوقات بله، اغلب خیر. اگر داده‌ها کوتاه یا نویزی باشند، روش‌های کلاسیک بر اساس پایداری و شفافیت پیروز می‌شوند.

• مشکل: نشت اطلاعات. وارد کردن تصادفی اطلاعات فردا به آموزش امروز، معیارهای شما را تحت الشعاع قرار داده و تولید شما را مختل می‌کند [2].

• دام: دنبال آخرین رقم اعشار رفتن. اگر زنجیره تأمین شما ناهموار است، بحث بین ۷.۳ تا ۷.۴ درصد خطا، نمایشی بیش نیست. روی آستانه‌های تصمیم‌گیری تمرکز کنید.

• افسانه: علیت از همبستگی. آزمون‌های گرنجر سودمندی پیش‌بینی را بررسی می‌کنند، نه حقیقت فلسفی را - از آنها به عنوان محافظ استفاده کنید، نه وحی منزل [4].

چک لیست اجرایی که می‌توانید کپی-پیست کنید 📋

• افق‌ها، سطوح تجمیع و تصمیمی را که اتخاذ خواهید کرد، تعریف کنید.

• یک شاخص زمان تمیز ایجاد کنید، شکاف‌ها را پر یا علامت‌گذاری کنید و داده‌های برون‌زا را هم‌تراز کنید.

• تاخیرهای ساخت و ساز، آمار لحظه‌ای، پرچم‌های فصلی و معدود ویژگی‌های دامنه‌ای که به آنها اعتماد دارید.

• با یک مبنای قوی شروع کنید، سپس در صورت نیاز به یک مدل پیچیده‌تر بروید.

• از بک تست‌های rolling-origin با معیاری که با کسب و کار شما مطابقت دارد استفاده کنید [2][3].

• فواصل پیش‌بینی را اضافه کنید - اختیاری نیست.

• ارسال، نظارت بر انحراف، و آموزش مجدد طبق برنامه به علاوه هشدارها [5].

خیلی طولانی بود، نخوندمش - حرف آخر 💬

حقیقت ساده در مورد چگونگی پیش‌بینی روندها توسط هوش مصنوعی: این موضوع کمتر در مورد الگوریتم‌های جادویی و بیشتر در مورد طراحی منظم و آگاه از زمان است. داده‌ها و ویژگی‌ها را درست دریافت کنید، صادقانه ارزیابی کنید، به سادگی توضیح دهید و با تغییر واقعیت سازگار شوید. این مانند تنظیم یک رادیو با دکمه‌های کمی چرب است - کمی پیچیده، گاهی اوقات ثابت، اما وقتی ایستگاه وارد می‌شود، به طرز شگفت‌آوری واضح است.

اگر یک چیز را از آن حذف کنید: به زمان احترام بگذارید، مانند یک شکاک اعتبارسنجی کنید و به نظارت ادامه دهید. بقیه فقط ابزار و سلیقه است.

منابع

1. اداره سرشماری ایالات متحده - برنامه تعدیل فصلی X-13ARIMA-SEATS . لینک

2. هایندمن و آتاناسوپولوس - پیش‌بینی: اصول و عمل (FPP3)، §5.10 اعتبارسنجی متقابل سری‌های زمانی . لینک

3. خدمات وب آمازون - ارزیابی دقت پیش‌بینی‌کننده (پیش‌بینی آمازون) . لینک

4. دانشگاه هوستون - علیت گرنجر (یادداشت‌های سخنرانی) . لینک

5. گاما و همکاران - بررسی تطبیق رانش مفهوم (نسخه باز). لینک

جدیدترین هوش مصنوعی را در فروشگاه رسمی دستیار هوش مصنوعی پیدا کنید

درباره ما