cover6_compressed

اطلس مرجع بهینه‌سازهای شبکه عصبی؛ فرمول‌ها، مقایسه محاسباتی و مطالعات کاربردی

۵6. اطلس مرجع بهینه‌سازها

۵6.۱. هدف و جایگاه اطلس

تا این مرحله، مفاهیم و الگوریتم‌های اصلی بهینه‌سازی شبکه‌های عصبی را از مشتق و گرادیان تا روش‌های تطبیقی، شبه‌نیوتنی و الگوریتم‌های ماتریسی پیشرفته مطالعه کردیم.

بااین‌حال، هنگام اجرای یک پروژه واقعی، دانشجو یا پژوهشگر معمولاً به یک مرجع سریع نیاز دارد تا بتواند پاسخ پرسش‌های زیر را بدون مرور دوباره تمام فصل پیدا کند:

  • هر بهینه‌ساز دقیقاً از چه اطلاعاتی استفاده می‌کند؟
  • چه پارامترهایی باید تنظیم شوند؟
  • هزینه محاسبات و حافظه اضافی چقدر است؟
  • کدام مسئله را بهتر هدف قرار می‌دهد و چه محدودیت‌هایی دارد؟
  • فرمول آموزشی آن چه تفاوتی با پیاده‌سازی کتابخانه‌ای دارد؟

این اطلس، مرجع فشرده تصمیم‌گیری و محاسبات است. بنابراین برخلاف بخش‌های آموزشی پیشین، استنتاج‌های طولانی تکرار نمی‌شوند؛ اما هر فرمول با تعریف نمادها و نکات اجرایی همراه است.

۵6.۲. قرارداد ریاضی مشترک

برای جلوگیری از ابهام، در سراسر اطلس از قرارداد زیر استفاده می‌کنیم:

gt=∇θLt(θt−1)g_t = \nabla_\theta L_t(\theta_{t-1})

در این رابطه، Lₜ زیان دسته آموزشی مرحله t، θₜ₋₁ پارامترهای پیش از به‌روزرسانی و gₜ گرادیان محاسبه‌شده است.

همچنین:

نمادمعنا
Pتعداد کل پارامترهای قابل یادگیری
tشماره گام به‌روزرسانی، از ۱
ηₜنرخ یادگیری مثبت در مرحله t
gₜبردار گرادیان زیان فعلی
θₜبردار پارامترها پس از به‌روزرسانی
β، β₁، β₂، ρضرایب حافظه؛ معنای دقیق آن‌ها در هر روش مشخص می‌شود
εثابت مثبت کوچک برای پایداری عددی
λضریب کاهش وزن یا منظم‌سازی، متناسب با تعریف الگوریتم
Iماتریس همانی
⊙ضرب مؤلفه‌به‌مؤلفه
‖·‖₂نرم اقلیدسی
Tعملگر ترانهاده

قاعده مهم: اشتراک نماد به معنای یکسان بودن الگوریتم نیست. برای مثال، نقش β در Momentum با نقش β₂ در Adam متفاوت است.

57. شناسنامه ریاضی الگوریتم‌های اصلی

57.۱. Gradient Descent و SGD

در فرمول بالا، gₜ گرادیان زیان در پارامترهای فعلی و ηₜ اندازه گام پایه است. SGD می‌تواند از برنامه زمان‌بندی نرخ یادگیری نیز استفاده کند.

شبه‌کد آموزشی:

Initialize model parameters θ
For each update t:
    Select training batch B
    Compute loss on B
    Compute gradient g
    θ ← θ - η*g

57.۲. Momentum و Nesterov

برای Nesterov، نسخه پیش‌نگر با نرخ یادگیری ثابت:

θ~t=θt−1−ηβut−1ut=βut−1+∇Lt(θ~t)θt=θt−1−ηut\begin{gather*} \tilde{\theta}_t = \theta_{t-1} – \eta\beta u_{t-1} \\ u_t = \beta u_{t-1} + \nabla L_t(\tilde{\theta}_t) \\ \theta_t = \theta_{t-1} – \eta u_t \end{gather*}

در این روابط، θ̃ₜ نقطه پیش‌نگر و ∇Lₜ(θ̃ₜ) گرادیان محاسبه‌شده در آن نقطه است.

این قرارداد را نباید بدون بررسی معادل تمام گونه‌های nesterov=True در کتابخانه‌های مختلف تلقی کرد.

57.3.. AdaGrad، RMSProp و AdaDelta

برای AdaDelta، دو میانگین متحرک تعریف می‌کنیم:

E[g2]t=ρE[g2]t−1+(1−ρ)gt2Δθt=−E[Δθ2]t−1+ϵE[g2]t+ϵgtE[Δθ2]t=ρE[Δθ2]t−1+(1−ρ)(Δθt)2θt=θt−1+Δθt\begin{gather*} E[g^2]_t = \rho E[g^2]_{t-1} + (1 – \rho)g_t^2 \\ \Delta\theta_t = -\frac{\sqrt{E[\Delta\theta^2]_{t-1} + \epsilon}}{\sqrt{E[g^2]_t + \epsilon}} g_t \\ E[\Delta\theta^2]_t = \rho E[\Delta\theta^2]_{t-1} + (1 – \rho)(\Delta\theta_t)^2 \\ \theta_t = \theta_{t-1} + \Delta\theta_t \end{gather*}

در این روابط، E[g²]ₜ آمار مربعات گرادیان و E[Δθ²]ₜ آمار مربعات تغییر پارامترهاست. هر دو از صفر مقداردهی اولیه می‌شوند و ρ ضریب حافظه آن‌هاست.

ویژگی ممتاز AdaDelta استفاده هم‌زمان از اطلاعات تغییر گرادیان و تغییر پارامتر است. هزینه آن، نگهداری دو بردار وضعیت به‌اندازه (P) است.

57.۴. Adam و AdamW

AdamW از همان ممان‌ها استفاده می‌کند، اما کاهش وزن را مستقل از آن‌ها اعمال می‌کند:

θt=(1−ηtλ)θt−1−ηtm^tv^t+ϵ\boxed{\theta_t = (1 – \eta_t\lambda)\theta_{t-1} – \eta_t\frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}}

در این رابطه، λ ضریب کاهش وزن تفکیک‌شده است. بنابراین گرادیانی که برای ممان‌ها استفاده می‌شود، گرادیان زیان اصلی است و جمله λθ به آن اضافه نمی‌شود.

این تفاوت در مستندات رسمی PyTorch نیز صریحاً بیان شده است.

57.۵. شبه‌کد مرجع AdamW

# AdamW:one conceptual optimization step
# g is already computed by backpropagation.

m = beta1 * m + (1 - beta1) * g
v = beta2 * v + (1 - beta2) * (g * g)

m_hat = m / (1 - beta1 ** t)
v_hat = v / (1 - beta2 ** t)

theta = (
    (1 - lr * weight_decay) * theta
    - lr * m_hat / (sqrt(v_hat) + eps)
)

این شبه‌کد، تعریف محاسباتی الگوریتم است و بدون مقداردهی اولیه متغیرها و تعریف عملیات آرایه‌ای، یک برنامه مستقل محسوب نمی‌شود.

برای بهینه‌سازی واقعی شبکه، گرادیان باید با Backpropagation محاسبه شود و وضعیت (m) و (v) در طول مراحل حفظ گردد.

58. اطلس محاسباتی:حافظه، پیچیدگی و مقیاس‌پذیری

58.۱. چرا هزینه هر گام با زمان واقعی آموزش یکسان نیست؟

در یک شبکه عصبی، هزینه کل آموزش از چند جزء تشکیل می‌شود:

Ttrain≈Tforward+Tbackward+Toptimizer+ToverheadT_{\mathrm{train}} \approx T_{\mathrm{forward}} + T_{\mathrm{backward}} + T_{\mathrm{optimizer}} + T_{\mathrm{overhead}}

در این رابطه، T_forward زمان محاسبه خروجی، T_backward زمان محاسبه گرادیان، T_optimizer زمان اجرای قانون به‌روزرسانی و T_overhead سربار انتقال داده، همگام‌سازی و دیگر عملیات است.

پس اگر یک الگوریتم در مرحله به‌روزرسانی به عملیات بیشتری نیاز داشته باشد، لزوماً زمان کل آموزش آن به همان نسبت بیشتر نخواهد بود.

برای مثال، در یک مدل بزرگ ممکن است محاسبات Forward و Backward بخش عمده زمان را مصرف کنند. از طرف دیگر، برخی روش‌ها مانند L-BFGS ممکن است در یک تکرار، چندین بار تابع زیان و گرادیان را ارزیابی کنند.

جدول 58-۱. اطلس هزینه محاسباتی

الگوریتمحافظه وضعیت اضافیهزینه تقریبی به‌روزرسانینکته اجرایی
SGDناچیز(O(P))یک گرادیان برای هر گام
Momentum(O(P))(O(P))یک بردار حافظه
Nesterov(O(P))(O(P)) به‌جز محاسبه گرادیانوابسته به صورت‌بندی
AdaGrad(O(P))(O(P))یک انباشتگر مربعات
RMSProp(O(P))(O(P))یک میانگین متحرک
AdaDelta(O(P))(O(P))دو میانگین متحرک
Adam(O(P))(O(P))دو بردار ممان
AdamW(O(P))(O(P))ممان‌ها و کاهش وزن تفکیک‌شده
AMSGrad(O(P))(O(P))آمار بیشینه اضافی
Nadam(O(P))(O(P))اصلاح جهت مومنتوم
BFGS(O(P^2))(O(P^2)) برای به‌روزرسانی ماتریسیجست‌وجوی خطی نیز هزینه دارد
L-BFGS(O(mP))(O(mP)) برای بازگشت دوحلقه‌ای(m) تعداد جفت‌های ذخیره‌شده
Newton متراکم(O(P^2))حل دستگاه متراکم معمولاً تا (O(P^3))روش‌های ساختاریافته متفاوت‌اند
LM متراکم(O(NP+P^2)) یا بیشتروابسته به ژاکوبین و حل دستگاهمناسب‌تر برای مسائل کوچک‌تر

مرتبه‌های محاسباتی این جدول عمدتاً مربوط به عملیات و وضعیت بهینه‌ساز هستند؛ هزینه Forward، Backward و بعضی بافرهای موقت جداگانه‌اند. (P) تعداد پارامترها، (m) تاریخچه L-BFGS و (N) تعداد باقیمانده‌ها در LM است.

58.۲. تخمین عددی حافظه وضعیت بهینه‌ساز

فرض کنید مدلی دارای (P=100{,}000{,}000) پارامتر باشد. اگر تمام وضعیت‌های بهینه‌ساز را در دقت ۳۲بیتی ذخیره کنیم، هر بردار کامل به‌اندازه پارامترها تقریباً ۴۰۰ مگابایت حافظه ده‌دهی نیاز دارد.

59. اطلس روش‌های پیشرفته؛ چه چیزی ذخیره می‌شود؟

در بخش‌های قبلی آموختیم که بهینه‌سازهای جدیدتر لزوماً تنها نسخه سریع‌تر Adam نیستند. بعضی روش‌ها نحوه نمایش گرادیان و وضعیت بهینه‌ساز را تغییر می‌دهند.

59.۱. خانواده مقیاس‌بندی لایه‌ای

در LARS، مقیاس گام با استفاده از نسبت نرم وزن‌های یک لایه به نرم گرادیان آن محاسبه می‌شود. در LAMB، همین ایده با جهت تطبیقی مبتنی بر ممان‌های Adam ترکیب می‌شود.

هر دو به جای اتکا به یک نسبت جهانی، به رفتار لایه‌ها توجه می‌کنند.

59.۲. خانواده کم‌حافظه

Adafactor برای ماتریس‌های بزرگ، آمار ممان دوم را به‌صورت فاکتورگیری‌شده نگهداری می‌کند.

برای یک ماتریس n×m، به‌جای ذخیره nm مقدار، می‌توان آمارهای سطری و ستونی با مجموع n+m مقدار نگهداری کرد.

در پیاده‌سازی‌های واقعی، امکان فاکتورگیری، شکل تانسور، قواعد مقیاس‌بندی و سایر وضعیت‌ها تعیین می‌کنند که صرفه‌جویی نهایی چقدر است. مستندات Optax نیز فاکتورگیری ممان دوم را ویژگی اساسی Adafactor معرفی می‌کنند.

59.۳. خانواده مبتنی بر علامت حرکت

Lion تنها یک بردار مومنتوم را نگه می‌دارد و از علامت ترکیبی از گرادیان فعلی و گذشته برای به‌روزرسانی استفاده می‌کند.

به همین دلیل، کاهش حافظه وضعیت یکی از مزایای مهم آن در مقایسه با AdamW است. بااین‌حال، چون مقدار مؤلفه به‌روزرسانی از تابع علامت حاصل می‌شود، انتخاب نرخ یادگیری آن باید با دقت انجام شود.

59.۴. خانواده هندسه ماتریسی

در Shampoo، به‌روزرسانی با پیش‌شرط‌سازهایی مرتبط با ساختار تانسور انجام می‌شود.

در Muon، به‌جای استفاده مستقیم از ماتریس مومنتوم، یک نسخه تقریباً متعامدشده برای به‌روزرسانی وزن‌های ماتریسی استفاده می‌شود.

نکته مهم این است که نسخه‌های کاربردی Muon معمولاً برای همه پارامترهای مدل از یک قاعده واحد استفاده نمی‌کنند. برای مثال، در پیاده‌سازی Optax، پارامترهای غیرماتریسی به روش AdamW سپرده می‌شوند.

60. مرجع انتخاب بهینه‌ساز بر اساس شرایط مسئله

این بخش برای استفاده سریع دانشجویان، پژوهشگران و تیم‌های توسعه هوش مصنوعی تنظیم شده است.

۶0.۱. جدول تصمیم‌گیری

شرایط مسئلهگزینه‌های اولیهملاحظه اصلی
یادگیری مفاهیم بهینه‌سازیGD، SGDشفافیت ریاضی
آموزش CNNMomentum SGD، AdamWتنظیم نرخ یادگیری و تعمیم
آموزش MLP عمومیAdamW، Momentum SGDمقایسه عملکرد اعتبارسنجی
ویژگی‌های بسیار تنکAdaGrad، SparseAdamپشتیبانی از گرادیان تنک
مدل TransformerAdamWکاهش وزن و Scheduler
Transformer با محدودیت حافظهAdafactor و روش‌های کم‌حافظهصرفه‌جویی در وضعیت
Batch بسیار بزرگ و آموزش توزیع‌شدهLAMB، LARSمقیاس‌بندی لایه‌ای
بهینه‌سازی هموار با پارامترهای کمBFGS، LMهزینه محاسبات خمیدگی
PINN با مجموعه نقاط نسبتاً ثابتAdamW، L-BFGSکیفیت جست‌وجوی خطی
پژوهش درباره بهینه‌سازی ماتریسیShampoo، Muonهزینه عملیات و ساختار پارامترها

این جدول یک راهنمای انتخاب اولیه است و حکم رتبه‌بندی تجربی قطعی ندارد.

60.۲. ملاحظات مربوط به پیاده‌سازی واقعی

بر اساس مستندات کنونی PyTorch، علاوه بر بهینه‌سازهای کلاسیک، گزینه‌هایی مانند Adafactor، Muon، NAdam و L-BFGS نیز در این کتابخانه ارائه می‌شوند. همچنین برخی بهینه‌سازها دارای پیاده‌سازی‌های متفاوت از نظر پردازش دسته‌ای و عملیات تلفیق‌شده (Fused) هستند؛ بنابراین حتی نام یکسان الگوریتم نیز الزاماً هزینه اجرایی یکسانی ایجاد نمی‌کند.

برای مقایسه علمی، لازم است نسخه کتابخانه، نوع پیاده‌سازی، سخت‌افزار، دقت عددی، تنظیمات پیش‌فرض و مقدار ابرپارامترها ثبت شوند.

61. تمرین مرجع:بررسی دستی و برنامه‌نویسی

برای ارزیابی تسلط دانشجو بر اطلس، یک مسئله مشترک تعریف می‌کنیم.

تابع زیان:

L(w)=12(w−4)2L(w) = \frac{1}{2}(w – 4)^2

وزن اولیه:

w0=1w_0 = 1

گرادیان اولیه:

g1=w0−4=−3g_1 = w_0 – 4 = -3

با نرخ یادگیری ۰٫۱، سه روش را مقایسه کنید.

SGD

w1=1−0.1(−3)=1.3w_1 = 1 – 0.1(-3) = 1.3

Momentum

با حافظه اولیه صفر و β = ۰٫۹:

u1=0.9(0)−3=−3w1=1−0.1(−3)=1.3\begin{gather*} u_1 = 0.9(0) – 3 = -3 \\ w_1 = 1 – 0.1(-3) = 1.3 \end{gather*}

Adam

با (β1=0.9)، (β2=0.999) و (ϵ=10−8):m1=−0.3,v1=0.009m^1=−3,v^1=9w1=1−0.1−33+10−8w1≈1.1\text{با } (\beta_1 = 0.9)\text{، } (\beta_2 = 0.999) \text{ و } (\epsilon = 10^{-8}): \begin{gather*} m_1 = -0.3, \qquad v_1 = 0.009 \\ \hat{m}_1 = -3, \qquad \hat{v}_1 = 9 \\ w_1 = 1 – 0.1\frac{-3}{3 + 10^{-8}} \\ w_1 \approx 1.1 \end{gather*}

نتیجه مقایسه

روشوزن پس از گام اولزیان جدید
SGD۱٫۳۳٫۶۴۵
Momentum۱٫۳۳٫۶۴۵
Adam۱٫۱۴٫۲۰۵

در نخستین گام، Momentum با حافظه اولیه صفر همان نتیجه SGD را تولید می‌کند، اما Adam به دلیل مقیاس‌بندی تطبیقی، اندازه تغییر متفاوتی دارد.

دانشجو باید سه گام بعدی را نیز اجرا کند و بررسی کند آیا رتبه‌بندی الگوریتم‌ها ثابت می‌ماند یا تغییر می‌کند.

این مثال بار دیگر تأکید می‌کند که مقایسه بر اساس نرخ یادگیری عددی یکسان، لزوماً مقایسه‌ای با اندازه گام یکسان نیست.

مطالعه موردی اول — پیش‌بینی تقاضای محصول در کارخانه صنایع غذایی

۱. تعریف مسئله صنعتی

یک کارخانه تولید مواد غذایی می‌خواهد مقدار تقاضای محصول را براساس تعداد فعالیت‌های تبلیغاتی پیش‌بینی کند.

در مدل واقعی، عوامل بسیاری مانند قیمت، فصل، رقبا و موجودی نیز مهم‌اند. اما برای آنکه تمام محاسبات قابل انجام دستی باشند، ابتدا یک مدل بسیار کوچک با یک ویژگی می‌سازیم.

دو مشاهده تاریخی داریم:

هفتهشاخص فعالیت تبلیغاتی (x)تقاضای واقعی (y)
۱۱۳
۲۲۵

فرض می‌کنیم واحد تقاضا هزار بسته است و شاخص تبلیغات بدون واحد است.

هدف پیدا کردن رابطه‌ای بین تبلیغات و تقاضاست.

۲. انتخاب مدل

مدل ساده خطی:

y^=wx+b\boxed{\hat{y} = wx + b}

که در آن:

  • (w): وزن اثر تبلیغات بر تقاضا
  • (b): مقدار پایه مدل
  • (x): شاخص تبلیغات
  • ŷ: تقاضای پیش‌بینی‌شده

این مدل، ساده‌ترین نمونه از یک نورون خطی است و پایه مفهومی بهینه‌سازی شبکه‌های چندلایه را نشان می‌دهد.

۳. انتخاب تابع زیان

تابع زیان را به شکل زیر انتخاب می‌کنیم:

L(w,b)=12N∑i=1N(y^i−yi)2\boxed{L(w,b) = \frac{1}{2N} \sum_{i=1}^{N} (\hat{y}_i – y_i)^2}

چرا ضریب (1/2) وجود دارد؟

زیرا هنگام مشتق‌گیری، عدد ۲ ناشی از توان دوم با این ضریب ساده می‌شود.

در این مثال:

N=2N = 2

پس:

L=14[(w+b−3)2+(2w+b−5)2]L = \frac{1}{4} \left[ (w + b – 3)^2 + (2w + b – 5)^2 \right]

۴. مقداردهی اولیه

فرض می‌کنیم:

w0=0,b0=0w_0 = 0, \qquad b_0 = 0

نرخ یادگیری:

η=0.1\eta = 0.1

پیش‌بینی‌های اولیه:

y^1=0(1)+0=0y^2=0(2)+0=0\begin{gather*} \hat{y}_1 = 0(1) + 0 = 0 \\ \hat{y}_2 = 0(2) + 0 = 0 \end{gather*}

خطاها:

e1=0−3=−3e2=0−5=−5\begin{gather*} e_1 = 0 – 3 = -3 \\ e_2 = 0 – 5 = -5 \end{gather*}

زیان اولیه:

L0=14[(−3)2+(−5)2]L0=9+254L0=8.5\begin{gather*} L_0 = \frac{1}{4}\left[(-3)^2 + (-5)^2\right] \\ L_0 = \frac{9 + 25}{4} \\ \boxed{L_0 = 8.5} \end{gather*}

۵. محاسبه گرادیان‌ها

از رابطه:

L=12N∑i(wxi+b−yi)2L = \frac{1}{2N} \sum_i (w x_i + b – y_i)^2

مشتق نسبت به وزن:

∂L∂w=1N∑i=1N(y^i−yi)xi\boxed{\frac{\partial L}{\partial w} = \frac{1}{N}\sum_{i=1}^{N}(\hat{y}_i – y_i)x_i}

مشتق نسبت به بایاس:

∂L∂b=1N∑i=1N(y^i−yi)\boxed{\frac{\partial L}{\partial b} = \frac{1}{N}\sum_{i=1}^{N}(\hat{y}_i – y_i)}

در نقطه اولیه:

∂L∂w=12[(−3)(1)+(−5)(2)]=−3−102gw=−6.5و:∂L∂b=12(−3−5)gb=−4\begin{gather*} \frac{\partial L}{\partial w} = \frac{1}{2}\left[(-3)(1) + (-5)(2)\right] \\ = \frac{-3 – 10}{2} \\ \boxed{g_w = -6.5} \\ \text{و:} \\ \frac{\partial L}{\partial b} = \frac{1}{2}(-3 – 5) \\ \boxed{g_b = -4} \end{gather*}

۶. نخستین گام Gradient Descent

قانون به‌روزرسانی:

wt+1=wt−ηgwbt+1=bt−ηgb\begin{gather*} w_{t+1} = w_t – \eta g_w \\ b_{t+1} = b_t – \eta g_b \end{gather*}

وزن جدید:

w1=0−0.1(−6.5)w1=0.65\begin{gather*} w_1 = 0 – 0.1(-6.5) \\ \boxed{w_1 = 0.65} \end{gather*}

بایاس جدید:

b1=0−0.1(−4)b1=0.4\begin{gather*} b_1 = 0 – 0.1(-4) \\ \boxed{b_1 = 0.4} \end{gather*}

مدل جدید:

y^=0.65x+0.4\boxed{\hat{y} = 0.65x + 0.4}

۷. ارزیابی مدل پس از گام اول

برای هفته اول:

y^1=0.65(1)+0.4=1.05\hat{y}_1 = 0.65(1) + 0.4 = 1.05

خطا:

e1=1.05−3=−1.95e_1 = 1.05 – 3 = -1.95

برای هفته دوم:

y^2=0.65(2)+0.4=1.7\hat{y}_2 = 0.65(2) + 0.4 = 1.7

خطا:

e2=1.7−5=−3.3e_2 = 1.7 – 5 = -3.3

زیان:

L1=14[(−1.95)2+(−3.3)2]=14(3.8025+10.89)L1=3.673125\begin{gather*} L_1 = \frac{1}{4}\left[(-1.95)^2 + (-3.3)^2\right] \\ = \frac{1}{4}(3.8025 + 10.89) \\ \boxed{L_1 = 3.673125} \end{gather*}

زیان از ۸٫۵ به ۳٫۶۷۳۱۲۵ کاهش یافته است.

۸. دومین گام Gradient Descent

گرادیان‌های جدید:

gw=12[(−1.95)(1)+(−3.3)(2)]=−1.95−6.62gw=−4.275gb=−1.95−3.32gb=−2.625\begin{gather*} g_w = \frac{1}{2}\left[(-1.95)(1) + (-3.3)(2)\right] \\ = \frac{-1.95 – 6.6}{2} \\ \boxed{g_w = -4.275} \\ g_b = \frac{-1.95 – 3.3}{2} \\ \boxed{g_b = -2.625} \end{gather*}

وزن جدید:

w2=0.65−0.1(−4.275)w2=1.0775\begin{gather*} w_2 = 0.65 – 0.1(-4.275) \\ \boxed{w_2 = 1.0775} \end{gather*}

بایاس جدید:

b2=0.4−0.1(−2.625)b2=0.6625\begin{gather*} b_2 = 0.4 – 0.1(-2.625) \\ \boxed{b_2 = 0.6625} \end{gather*}

مدل:

y^=1.0775x+0.6625\boxed{\hat{y} = 1.0775x + 0.6625}

۹. محاسبه زیان پس از گام دوم

پیش‌بینی اول:

y^1=1.0775+0.6625=1.74e1=1.74−3=−1.26\begin{gather*} \hat{y}_1 = 1.0775 + 0.6625 = 1.74 \\ e_1 = 1.74 – 3 = -1.26 \end{gather*}

پیش‌بینی دوم:

y^2=2(1.0775)+0.6625=2.8175e2=2.8175−5=−2.1825\begin{gather*} \hat{y}_2 = 2(1.0775) + 0.6625 = 2.8175 \\ e_2 = 2.8175 – 5 = -2.1825 \end{gather*}

زیان:

L2=14[(−1.26)2+(−2.1825)2]=14(1.5876+4.76330625)L2=1.5877265625\begin{gather*} L_2 = \frac{1}{4}\left[(-1.26)^2 + (-2.1825)^2\right] \\ = \frac{1}{4}(1.5876 + 4.76330625) \\ \boxed{L_2 = 1.5877265625} \end{gather*}

۱۰. پیش‌بینی برای هفته سوم

اگر شاخص تبلیغات هفته سوم:

x=3x = 3

باشد، مدل فعلی پیش‌بینی می‌کند:

y^=1.0775(3)+0.6625y^=3.895\begin{gather*} \hat{y} = 1.0775(3) + 0.6625 \\ \boxed{\hat{y} = 3.895} \end{gather*}

هزار بسته.

آیا می‌توان به این پیش‌بینی اعتماد کرد؟

هنوز خیر. فقط دو مشاهده برای آموزش داریم و مدل نیز تنها دو گام از بهینه‌سازی را طی کرده است. حتی اگر روند آموزش مطلوب باشد، برای تصمیم‌گیری تولید باید داده‌های بیشتری جمع‌آوری شود.

بررسی جواب تحلیلی

با توجه به دو مشاهده، رابطه خطی‌ای که هر دو را دقیقاً برازش می‌کند:

w+b=32w+b=5\begin{gather*} w + b = 3 \\ 2w + b = 5 \end{gather*}

با تفریق دو رابطه:

w=2و:b=1\begin{gather*} w = 2 \\ \text{و:} \\ b = 1 \end{gather*}

پس:

y^=2x+1\boxed{\hat{y} = 2x + 1}

این مدل روی دو مشاهده آموزشی خطای صفر دارد و برای (x=3) مقدار ۷ را پیش‌بینی می‌کند.

اما برازش کامل دو نقطه، تضمین پیش‌بینی صحیح در هفته سوم نیست.

جدول جمع‌بندی

مرحلهوزنبایاسزیان آموزش
ابتدا۰۰۸٫۵
گام اول۰٫۶۵۰٫۴۳٫۶۷۳۱۲۵
گام دوم۱٫۰۷۷۵۰٫۶۶۲۵۱٫۵۸۷۷۲۷
جواب برازش دقیق آموزشی۲۱۰

۱۱. تصمیم مدیریتی

در این مثال می‌توان از مدل برای درک رابطه تبلیغات و تقاضا استفاده کرد، اما تصمیم واقعی تولید به اعتبارسنجی زمانی، موجودی فعلی، عدم قطعیت پیش‌بینی و هزینه کمبود یا مازاد محصول وابسته است.

معیار پذیرش پیشنهادی

می‌توان از قبل تعیین کرد مدل فقط زمانی پذیرفته شود که روی هفته‌های آینده، MAE کمتر از آستانه عملیاتی مشخص داشته باشد و از روش ساده پیش‌بینی تقاضای هفته قبل عملکرد بهتری ارائه کند.

نتیجه مطالعه اول: فهمیدیم چگونه از یک مسئله کسب‌وکار به تابع زیان برسیم، مشتق‌ها را محاسبه کنیم، وزن‌ها را با Gradient Descent اصلاح کنیم و تفاوت کاهش زیان آموزشی با اعتبار پیش‌بینی آینده را تشخیص دهیم.

مطالعه موردی دوم — پیش‌بینی احتمال نکول تسهیلات بانکی

۱. تعریف مسئله

یک بانک قصد دارد احتمال نکول تسهیلات را براساس ویژگی‌های مالی متقاضیان برآورد کند.

در سیستم واقعی ممکن است ده‌ها یا صدها متغیر استفاده شود، اما برای آموزش محاسبات Adam، فقط یک ویژگی در نظر می‌گیریم.

فرض کنید (x) یک شاخص استانداردشده ریسک مالی است؛ مقدار بزرگ‌تر آن نشان‌دهنده وضعیت پرریسک‌تر است.

برچسب:

y={1نکول0عدم نکولy = \begin{cases} 1 & \text{نکول} \\ 0 & \text{عدم نکول} \end{cases}

داده آموزشی:

مشتریشاخص ریسک (x)وضعیت واقعی (y)
A۱۰
B۲۱

این دو مشاهده برای اثبات کیفیت مدل اعتباری کافی نیستند؛ فقط به ما امکان می‌دهند تمام محاسبات Adam را دستی انجام دهیم.

۲. ساخت مدل

یک نورون با تابع فعال‌سازی سیگموید تعریف می‌کنیم:

z=wx,p=σ(z)=11+e−zz = wx, \qquad \boxed{p = \sigma(z) = \frac{1}{1 + e^{-z}}}

برای ساده بودن، بایاس را در این مثال صفر و ثابت می‌گیریم.

پارامتر قابل یادگیری فقط (w) است.

۳. انتخاب تابع زیان

چون مسئله طبقه‌بندی دودویی است، از Binary Cross-Entropy استفاده می‌کنیم:

L(w)=−1N∑i=1N[yiln⁡pi+(1−yi)ln⁡(1−pi)]\boxed{L(w) = -\frac{1}{N}\sum_{i=1}^{N} \left[ y_i \ln p_i + (1 – y_i)\ln(1 – p_i) \right]}

با این تابع و سیگموید، مشتق نسبت به وزن چنین می‌شود:

dLdw=1N∑i=1N(pi−yi)xi\boxed{\frac{dL}{dw} = \frac{1}{N}\sum_{i=1}^{N}(p_i – y_i)x_i}

این رابطه از قاعده زنجیره‌ای به دست می‌آید.

۴. مقداردهی اولیه Adam

فرض می‌کنیم:

w0=0m0=0,v0=0و:η=0.1β1=0.9,β2=0.999ϵ=10−8\begin{gather*} w_0 = 0 \\ m_0 = 0, \qquad v_0 = 0 \\ \text{و:} \\ \eta = 0.1 \\ \beta_1 = 0.9, \qquad \beta_2 = 0.999 \\ \epsilon = 10^{-8} \end{gather*}

در این مثال ممان اول (m_t) میانگین متحرک گرادیان‌ها و ممان دوم خام (v_t) میانگین متحرک مربعات گرادیان‌هاست.

۵. گام نخست Adam

برای مشتری A:

zA=0(1)=0pA=σ(0)=0.5\begin{gather*} z_A = 0(1) = 0 \\ p_A = \sigma(0) = 0.5 \end{gather*}

برای مشتری B:

zB=0(2)=0pB=0.5\begin{gather*} z_B = 0(2) = 0 \\ p_B = 0.5 \end{gather*}

محاسبه زیان اولیه

برای مشتری A که (y_A=0) است:

LA=−ln⁡(1−0.5)=0.693147L_A = -\ln(1 – 0.5) = 0.693147

برای مشتری B که (y_B=1) است:

LB=−ln⁡(0.5)=0.693147L_B = -\ln(0.5) = 0.693147

میانگین:

L0=0.693147\boxed{L_0 = 0.693147}

محاسبه گرادیان

g1=12[(0.5−0)(1)+(0.5−1)(2)]=12[0.5−1]g1=−0.25\begin{gather*} g_1 = \frac{1}{2}\left[(0.5 – 0)(1) + (0.5 – 1)(2)\right] \\ = \frac{1}{2}\left[0.5 – 1\right] \\ \boxed{g_1 = -0.25} \end{gather*}

ممان اول

m1=0.9(0)+0.1(−0.25)m1=−0.025\begin{gather*} m_1 = 0.9(0) + 0.1(-0.25) \\ \boxed{m_1 = -0.025} \end{gather*}

ممان دوم

v1=0.999(0)+0.001(−0.25)2v1=0.0000625\begin{gather*} v_1 = 0.999(0) + 0.001(-0.25)^2 \\ \boxed{v_1 = 0.0000625} \end{gather*}

اصلاح بایاس

m^1=−0.0251−0.9m^1=−0.25v^1=0.00006251−0.999v^1=0.0625\begin{gather*} \hat{m}_1 = \frac{-0.025}{1 – 0.9} \\ \boxed{\hat{m}_1 = -0.25} \\ \hat{v}_1 = \frac{0.0000625}{1 – 0.999} \\ \boxed{\hat{v}_1 = 0.0625} \end{gather*}

به‌روزرسانی

w1=w0−0.1m^1v^1+10−8w1=0−0.1−0.250.25+10−8w1≈0.100000\begin{gather*} w_1 = w_0 – 0.1\frac{\hat{m}_1}{\sqrt{\hat{v}_1} + 10^{-8}} \\ w_1 = 0 – 0.1\frac{-0.25}{0.25 + 10^{-8}} \\ \boxed{w_1 \approx 0.100000} \end{gather*}

۶. ارزیابی پس از گام اول

برای مشتری A:

pA=σ(0.1),pA≈0.524979p_A = \sigma(0.1), \qquad \boxed{p_A \approx 0.524979}

برای مشتری B:

pB=σ(0.2),pB≈0.549834p_B = \sigma(0.2), \qquad \boxed{p_B \approx 0.549834}

زیان:

L1=−12[ln⁡(1−0.524979)+ln⁡(0.549834)]L1≈0.671268\begin{gather*} L_1 = -\frac{1}{2}\left[\ln(1 – 0.524979) + \ln(0.549834)\right] \\ \boxed{L_1 \approx 0.671268} \end{gather*}

در مقایسه با مقدار اولیه:

0.693147−0.671268=0.0218790.693147 – 0.671268 = 0.021879

زیان تقریباً ۰٫۰۲۱۸۸ واحد کاهش یافته است.

۷. گام دوم Adam

اکنون وزن:

w1≈0.1w_1 \approx 0.1

است.

گرادیان جدید:

g2=12[(0.524979−0)(1)+(0.549834−1)(2)]=12[0.524979−0.900332]g2≈−0.187676\begin{gather*} g_2 = \frac{1}{2}\left[(0.524979 – 0)(1) + (0.549834 – 1)(2)\right] \\ = \frac{1}{2}\left[0.524979 – 0.900332\right] \\ \boxed{g_2 \approx -0.187676} \end{gather*}

ممان اول جدید

m2=0.9(−0.025)+0.1(−0.187676)m2≈−0.041268\begin{gather*} m_2 = 0.9(-0.025) + 0.1(-0.187676) \\ \boxed{m_2 \approx -0.041268} \end{gather*}

ممان دوم جدید

v2=0.999(0.0000625)+0.001(−0.187676)2v2≈0.000097660\begin{gather*} v_2 = 0.999(0.0000625) + 0.001(-0.187676)^2 \\ \boxed{v_2 \approx 0.000097660} \end{gather*}

اصلاح بایاس

m^2=−0.0412681−0.92m^2≈−0.217198v^2=0.0000976601−0.9992v^2≈0.048854\begin{gather*} \hat{m}_2 = \frac{-0.041268}{1 – 0.9^2} \\ \boxed{\hat{m}_2 \approx -0.217198} \\ \hat{v}_2 = \frac{0.000097660}{1 – 0.999^2} \\ \boxed{\hat{v}_2 \approx 0.048854} \end{gather*}

وزن جدید

w2=w1−0.1−0.2171980.048854+10−8w2≈0.198266\begin{gather*} w_2 = w_1 – 0.1\frac{-0.217198}{\sqrt{0.048854} + 10^{-8}} \\ \boxed{w_2 \approx 0.198266} \end{gather*}

پس از دو گام، وزن از صفر به حدود ۰٫۱۹۸۳ افزایش یافته است.

۸. ارزیابی دوم

برای مشتری A:

pA=σ(0.198266),pA≈0.549405p_A = \sigma(0.198266), \qquad \boxed{p_A \approx 0.549405}

برای مشتری B:

pB=σ(2×0.198266)pB≈0.597854\begin{gather*} p_B = \sigma(2 \times 0.198266) \\ \boxed{p_B \approx 0.597854} \end{gather*}

زیان:

L2=−12[ln⁡(1−0.549405)+ln⁡(0.597854)]L2≈0.655797\begin{gather*} L_2 = -\frac{1}{2}\left[\ln(1 – 0.549405) + \ln(0.597854)\right] \\ \boxed{L_2 \approx 0.655797} \end{gather*}

شکل . کاهش زیان مدل نکول با Adam

دو گام Adam روی دو مشاهده آموزشی

جدول کامل محاسبات

گامگرادیانممان اول خامممان دوم خاموزنزیان
۰‎−۰٫۲۵۰۰۰۰۰۰۰۰٫۶۹۳۱۴۷
۱‎−۰٫۲۵۰۰۰۰‎−۰٫۰۲۵۰۰۰۰٫۰۰۰۰۶۲۵۰٫۱۰۰۰۰۰۰٫۶۷۱۲۶۸
۲‎−۰٫۱۸۷۶۷۶‎−۰٫۰۴۱۲۶۸۰٫۰۰۰۰۹۷۶۶۰٫۱۹۸۲۶۶۰٫۶۵۵۷۹۷

گرادیان سطر صفر صرفاً گرادیان محاسبه‌شده در نقطه اولیه است؛ در سطر اول از آن برای به‌روزرسانی استفاده شده است.

۹. تصمیم اعتباری و هزینه نکول

در کاربرد واقعی، خروجی مدل باید پس از آموزش و کالیبراسیون روی داده مستقل ارزیابی شود.

فرض کنیم برای یک متقاضی جدید و از یک مدل اعتبارسنجی‌شده، احتمال نکول چنین برآورد شده باشد:

p=0.08p = 0.08

این عدد بخشی از خروجی دوگام آموزشی بالا نیست؛ سناریویی مستقل برای آموزش تصمیم‌گیری است.

اگر بانک وام را بپذیرد، زیان در صورت نکول را ۵۰ میلیون تومان و زیان در حالت عدم نکول را صفر فرض می‌کنیم.

امید زیان:

E[L]=0.08(50)+0.92(0)E[L]=4 میلیون تومان\begin{gather*} E[L] = 0.08(50) + 0.92(0) \\ \boxed{E[L] = 4\ \text{میلیون تومان}} \end{gather*}

اگر سود خالص قراردادی در صورت عدم نکول ۸ میلیون تومان باشد و در صورت نکول، زیان خالص ۵۰ میلیون تومان رخ دهد، امید بازده:

E[Π]=(1−p)(8)−p(50)=0.92(8)−0.08(50)=7.36−4E[Π]=3.36 میلیون تومان\begin{gather*} E[\Pi] = (1-p)(8) – p(50) \\ = 0.92(8) – 0.08(50) \\ = 7.36 – 4 \\ \boxed{E[\Pi] = 3.36\ \text{میلیون تومان}} \end{gather*}

این محاسبه ساده، هزینه سرمایه، بازیافت مطالبات، محدودیت‌های اعتباری و سایر ریسک‌ها را در بر نمی‌گیرد.

نتیجه مدیریتی

در اعتبارسنجی بانکی، انتخاب بهینه‌ساز با تصمیم اعطای وام یکی نیست.

بهینه‌ساز وزن‌های مدل را آموزش می‌دهد. مدل، احتمال نکول را تخمین می‌زند. سپس تصمیم اعتباری با توجه به احتمال معتبر، هزینه‌ها، سیاست‌های ریسک و الزامات قانونی اتخاذ می‌شود.

نتیجه مطالعه دوم: تمام مراحل Adam، از گرادیان اولیه تا اصلاح بایاس و ارزیابی مجدد زیان، محاسبه شد و تفاوت بهینه‌سازی مدل با تصمیم اقتصادی روشن گردید.

مطالعه موردی سوم — کالیبراسیون حسگر در صنعت انرژی

۱. تعریف مسئله

در یک نیروگاه یا سامانه صنعتی انرژی، یک حسگر باید ورودی فیزیکی را به مقدار اندازه‌گیری‌شده تبدیل کند.

فرض کنیم پاسخ حسگر با مدل خطی زیر توصیف شود:

y^=ax+b\boxed{\hat{y} = ax + b}

که (a) ضریب حساسیت حسگر، (b) مقدار آفست، (x) ورودی فیزیکی و (ŷ) خروجی پیش‌بینی‌شده است.

دو اندازه‌گیری مرجع در اختیار داریم:

مشاهدهورودی (x)خروجی مرجع (y)
۱۱۲
۲۲۳

هدف محاسبه (a) و (b) است.

از روش Levenberg–Marquardt (LM) استفاده می‌کنیم تا نقش ژاکوبین و میرایی در بهینه‌سازی روشن شود.

۲. تعریف باقیمانده‌ها

باقیمانده مشاهده اول:

r1(a,b)=a+b−2r_1(a,b) = a + b – 2

باقیمانده مشاهده دوم:

r2(a,b)=2a+b−3r_2(a,b) = 2a + b – 3

بردار باقیمانده:

r=[a+b−22a+b−3]\boxed{r = \begin{bmatrix} a + b – 2 \\ 2a + b – 3 \end{bmatrix}}

تابع زیان:

L(a,b)=12(r12+r22)\boxed{L(a,b) = \frac{1}{2}\left(r_1^2 + r_2^2\right)}

۳. مقداردهی اولیه

فرض می‌کنیم:

a0=0,b0=0a_0 = 0, \qquad b_0 = 0

و پارامتر میرایی:

λ=1\lambda = 1

باشد.

در نقطه اولیه:

r0=[−2−3]r_0 = \begin{bmatrix} -2 \\ -3 \end{bmatrix}

زیان اولیه:

L0=12[(−2)2+(−3)2]L0=6.5\begin{gather*} L_0 = \frac{1}{2}\left[(-2)^2 + (-3)^2\right] \\ \boxed{L_0 = 6.5} \end{gather*}

۴. محاسبه ژاکوبین

ژاکوبین از مشتق باقیمانده‌ها نسبت به پارامترها تشکیل می‌شود:

J=[∂r1∂a∂r1∂b∂r2∂a∂r2∂b]J = \begin{bmatrix} \frac{\partial r_1}{\partial a} & \frac{\partial r_1}{\partial b} \\[6pt] \frac{\partial r_2}{\partial a} & \frac{\partial r_2}{\partial b} \end{bmatrix}

چون:

∂r1∂a=1,∂r1∂b=1∂r2∂a=2,∂r2∂b=1\begin{gather*} \frac{\partial r_1}{\partial a} = 1, \qquad \frac{\partial r_1}{\partial b} = 1 \\ \frac{\partial r_2}{\partial a} = 2, \qquad \frac{\partial r_2}{\partial b} = 1 \end{gather*}

پس:

J=[1121]\boxed{J = \begin{bmatrix} 1 & 1 \\ 2 & 1 \end{bmatrix}}

۵. تشکیل دستگاه LM

رابطه:

(J⊤J+λI)Δθ=−J⊤r\boxed{(J^{\top}J + \lambda I)\Delta\theta = -J^{\top}r}

ابتدا:

J⊤=[1211]و:J⊤J=[1211][1121]J⊤J=[5332]\begin{gather*} J^{\top} = \begin{bmatrix} 1 & 2 \\ 1 & 1 \end{bmatrix} \\ \text{و:} \\ J^{\top}J = \begin{bmatrix} 1 & 2 \\ 1 & 1 \end{bmatrix} \begin{bmatrix} 1 & 1 \\ 2 & 1 \end{bmatrix} \\ \boxed{J^{\top}J = \begin{bmatrix} 5 & 3 \\ 3 & 2 \end{bmatrix}} \end{gather*}

با λ = ۱:

J⊤J+λI=[6333]J^{\top}J + \lambda I = \begin{bmatrix} 6 & 3 \\ 3 & 3 \end{bmatrix}

اکنون:

J⊤r0=[1211][−2−3]=[−8−5]\begin{gather*} J^{\top} r_0 = \begin{bmatrix} 1 & 2 \\ 1 & 1 \end{bmatrix} \begin{bmatrix} -2 \\ -3 \end{bmatrix} \\ = \begin{bmatrix} -8 \\ -5 \end{bmatrix} \end{gather*}

بنابراین دستگاه:

[6333][ΔaΔb]=[85]\boxed{ \begin{bmatrix} 6 & 3 \\ 3 & 3 \end{bmatrix} \begin{bmatrix} \Delta a \\ \Delta b \end{bmatrix} = \begin{bmatrix} 8 \\ 5 \end{bmatrix} }

۶. حل کامل دستگاه

معادله اول:

6Δa+3Δb=86\Delta a + 3\Delta b = 8

معادله دوم:

3Δa+3Δb=53\Delta a + 3\Delta b = 5

با تفریق:

3Δa=3Δa=1\begin{gather*} 3\Delta a = 3 \\ \boxed{\Delta a = 1} \end{gather*}

جایگذاری در رابطه دوم:

3(1)+3Δb=53Δb=2Δb=23\begin{gather*} 3(1) + 3\Delta b = 5 \\ 3\Delta b = 2 \\ \boxed{\Delta b = \frac{2}{3}} \end{gather*}

پس:

a1=1b1=23\begin{gather*} a_1 = 1 \\ b_1 = \frac{2}{3} \end{gather*}

مدل جدید:

y^=x+23\boxed{\hat{y} = x + \frac{2}{3}}

۷. محاسبه زیان پس از گام اول

برای مشاهده اول:

y^1=1+23=53\hat{y}_1 = 1 + \frac{2}{3} = \frac{5}{3}

باقیمانده:

r1=53−2=−13r_1 = \frac{5}{3} – 2 = -\frac{1}{3}

برای مشاهده دوم:

y^2=2+23=83\hat{y}_2 = 2 + \frac{2}{3} = \frac{8}{3}

باقیمانده:

r2=83−3=−13r_2 = \frac{8}{3} – 3 = -\frac{1}{3}

زیان:

L1=12[(−13)2+(−13)2]=12(19+19)L1=19≈0.111111\begin{gather*} L_1 = \frac{1}{2}\left[ \left(-\frac{1}{3}\right)^2 + \left(-\frac{1}{3}\right)^2 \right] \\ = \frac{1}{2}\left(\frac{1}{9} + \frac{1}{9}\right) \\ \boxed{L_1 = \frac{1}{9} \approx 0.111111} \end{gather*}

زیان از ۶٫۵ به حدود ۰٫۱۱۱۱ کاهش یافته است.

۸. دومین گام LM

باقیمانده فعلی:

r1=[−13−13]r_1 = \begin{bmatrix} -\frac{1}{3} \\[4pt] -\frac{1}{3} \end{bmatrix}

چون مدل نسبت به پارامترها خطی است، ژاکوبین همچنان ثابت است.

حاصل‌ضرب:

J⊤r1=[1211][−13−13]=[−1−23]\begin{gather*} J^{\top} r_1 = \begin{bmatrix} 1 & 2 \\ 1 & 1 \end{bmatrix} \begin{bmatrix} -\frac{1}{3} \\[4pt] -\frac{1}{3} \end{bmatrix} \\ = \begin{bmatrix} -1 \\[4pt] -\frac{2}{3} \end{bmatrix} \end{gather*}

دستگاه گام دوم:

[6333][ΔaΔb]=[123]\begin{bmatrix} 6 & 3 \\ 3 & 3 \end{bmatrix} \begin{bmatrix} \Delta a \\ \Delta b \end{bmatrix} = \begin{bmatrix} 1 \\ \frac{2}{3} \end{bmatrix}

معادلات:

6Δa+3Δb=13Δa+3Δb=23\begin{gather*} 6\Delta a + 3\Delta b = 1 \\ 3\Delta a + 3\Delta b = \frac{2}{3} \end{gather*}

تفریق:

3Δa=13Δa=19\begin{gather*} 3\Delta a = \frac{1}{3} \\ \boxed{\Delta a = \frac{1}{9}} \end{gather*}

جایگذاری:

3(19)+3Δb=2313+3Δb=23Δb=19\begin{gather*} 3\left(\frac{1}{9}\right) + 3\Delta b = \frac{2}{3} \\ \frac{1}{3} + 3\Delta b = \frac{2}{3} \\ \boxed{\Delta b = \frac{1}{9}} \end{gather*}

پارامترهای جدید:

a2=1+19=109b2=23+19=79\begin{gather*} a_2 = 1 + \frac{1}{9} = \frac{10}{9} \\ b_2 = \frac{2}{3} + \frac{1}{9} = \frac{7}{9} \end{gather*}

بنابراین:

y^=109x+79\boxed{\hat{y} = \frac{10}{9}x + \frac{7}{9}}

۹. ارزیابی گام دوم

برای مشاهده اول:

y^1=109+79=179\hat{y}_1 = \frac{10}{9} + \frac{7}{9} = \frac{17}{9}

باقیمانده:

r1=179−2=−19r_1 = \frac{17}{9} – 2 = -\frac{1}{9}

برای مشاهده دوم:

y^2=209+79=3\hat{y}_2 = \frac{20}{9} + \frac{7}{9} = 3

پس:

r2=0r_2 = 0

زیان:

L2=12[181+0]L2=1162≈0.006173\begin{gather*} L_2 = \frac{1}{2}\left[\frac{1}{81} + 0\right] \\ \boxed{L_2 = \frac{1}{162} \approx 0.006173} \end{gather*}

شکل پ-۳. کاهش زیان کالیبراسیون حسگر با LM

دو گام LM با ضریب میرایی ثابت λ=۱

جدول نهایی

مرحله(a)(b)زیان
شروع۰۰۶٫۵
گام اول۱۰٫۶۶۶۶۶۷۰٫۱۱۱۱۱۱
گام دوم۱٫۱۱۱۱۱۱۰٫۷۷۷۷۷۸۰٫۰۰۶۱۷۳
برازش دقیق دو مشاهده۱۱۰

نکته: در این مثال، LM با میرایی ثابت الزاماً در یک گام به برازش دقیق نمی‌رسد؛ هرچند مسئله خطی است.

۱۰. تفسیر صنعتی

در این مثال می‌توانیم ببینیم چگونه با استفاده از ژاکوبین و یک دستگاه خطی، ضرایب حسگر اصلاح شدند.

اما مدل با دو مشاهده مرجع اعتبار صنعتی ندارد.

برای کالیبراسیون واقعی، باید حداقل موضوعات زیر بررسی شوند: تعداد کافی از نقاط مرجع، دامنه عملیاتی، عدم قطعیت اندازه‌گیری، پایداری زمانی، دما و شرایط محیطی، و خطای حسگر روی نقاطی که برای محاسبه ضرایب استفاده نشده‌اند.

معیار پذیرش پیشنهادی

فرض کنید تلرانس قابل قبول برای خروجی حسگر:

|y^−y|≤0.1\left| \hat{y} – y \right| \le 0.1

واحد اندازه‌گیری باشد.

در گام دوم، خطای مشاهده اول:

|−19|≈0.1111\left| -\frac{1}{9} \right| \approx 0.1111

است.

بنابراین با وجود کاهش بسیار زیاد زیان، مدل هنوز شرط سخت‌گیرانه تلرانس را برای مشاهده اول برآورده نکرده است.

نتیجه مطالعه سوم: کاهش زیان الگوریتمی الزاماً معادل رسیدن به معیار پذیرش مهندسی نیست. در کاربرد واقعی، محدودیت فنی باید به‌صراحت تعریف و ارزیابی شود.

مقایسه نهایی سه مطالعه موردی

ویژگیتولیدبانکداریانرژی
مدلنورون خطینورون سیگمویدمدل کالیبراسیون دوپارامتری
تابع زیانمربعات خطاCross-Entropyکمترین مربعات
روشGradient DescentAdamLM
پارامترهای قابل آموزش۲۱۲
گام‌های دستی۲۲۲
معیار عملیاتیخطای تقاضای آیندهریسک و هزینه نکولتلرانس اندازه‌گیری
محدودیت مهمداده بسیار کماعتبار احتمال و تصمیم اعتباریپوشش نقاط مرجع

این سه مطالعه، نمونه‌هایی از انتخاب هدفمند روش بهینه‌سازی هستند؛ نه ادعای اینکه هر صنعت باید الزاماً از همان روش استفاده کند.

الف. سؤالات مفهومی

۱۰ سؤال مفهومی همراه با پاسخ تشریحی

1.تفاوت گرادیان با مشتق دوم چیست؟

گرادیان نرخ و جهت تغییر موضعی تابع زیان را نشان می‌دهد؛ مشتق دوم یا هسین تغییرات گرادیان و خمیدگی موضعی را توصیف می‌کند.

2.چرا SGD با Mini-Batch نوسان دارد؟

زیرا هر Mini-Batch فقط تخمینی از گرادیان کل داده‌ها را تولید می‌کند و ترکیب نمونه‌ها میان گام‌ها متفاوت است.

3.Momentum چه اطلاعاتی را از گذشته حفظ می‌کند؟

ترکیبی از گرادیان‌های قبلی را نگهداری می‌کند تا جهت حرکت فقط به گرادیان فعلی وابسته نباشد.

4.مهم‌ترین تفاوت AdaGrad و RMSProp چیست؟

AdaGrad مجموع تجمعی مربعات گرادیان‌ها را حفظ می‌کند، اما RMSProp میانگین متحرک نمایی آن‌ها را نگه می‌دارد و اثر تاریخچه قدیمی به‌تدریج کاهش می‌یابد.

5.چرا Adam از اصلاح بایاس استفاده می‌کند؟

برای جبران کشیده شدن مقادیر اولیه میانگین‌های متحرک به سمت صفر در نتیجه مقداردهی اولیه صفر.

6.چرا Weight Decay و جریمه L2 در Adam عموماً یکسان نیستند؟

چون افزودن جریمه L2 به گرادیان موجب ورود آن به ممان‌های تطبیقی می‌شود، اما AdamW کاهش وزن را جدا از مسیر ممان‌ها اعمال می‌کند.

7.آیا AMSGrad همیشه بهتر از Adam است؟

خیر. انگیزه آن برطرف کردن برخی مسائل همگرایی و ایجاد حافظه بلندمدت در ممان دوم است؛ برتری تجربی همگانی تضمین نشده است.

8.چه تفاوتی میان BFGS و L-BFGS وجود دارد؟

BFGS تقریب متراکم وارون هسین را نگه می‌دارد، اما L-BFGS از تعداد محدودی جفت تغییر پارامتر و گرادیان برای محاسبه جهت استفاده می‌کند.

9.چرا Gradient Clipping مشکل گرادیان ناپدیدشونده را حل نمی‌کند؟

زیرا Clipping برای محدود کردن گرادیان‌های بزرگ طراحی شده است و به‌طور معمول گرادیان‌های بسیار کوچک را تقویت نمی‌کند.

10.چرا کمترین زیان آموزش برای انتخاب بهترین بهینه‌ساز کافی نیست؟

چون کیفیت تعمیم، پایداری، حافظه، زمان آموزش، هزینه تنظیم و معیار موفقیت واقعی نیز باید بررسی شوند.

ب. مسائل محاسباتی با پاسخ تشریحی

مسئله ۱ — یک گام Gradient Descent

تابع زیان:

L(w)=12(w−5)2L(w) = \frac{1}{2}(w – 5)^2

وزن اولیه:

w0=1w_0 = 1

نرخ یادگیری:

η=0.2\eta = 0.2

مقدار وزن و زیان را بعد از یک گام محاسبه کنید.

حل

گرادیان:

g0=w0−5=−4g_0 = w_0 – 5 = -4

وزن جدید:

w1=1−0.2(−4)=1.8w_1 = 1 – 0.2(-4) = 1.8

زیان:

L(w1)=12(1.8−5)2=12(10.24)L(w1)=5.12\begin{gather*} L(w_1) = \frac{1}{2}(1.8 – 5)^2 \\ = \frac{1}{2}(10.24) \\ \boxed{L(w_1) = 5.12} \end{gather*}

در ابتدا:

L(w0)=12(1−5)2=8L(w_0) = \frac{1}{2}(1 – 5)^2 = 8

بنابراین زیان کاهش یافته است.

مسئله ۲ — یک Epoch از SGD

دو مشاهده داریم:

(x1,y1)=(1,2)(x2,y2)=(2,4)\begin{gather*} (x_1, y_1) = (1, 2) \\ (x_2, y_2) = (2, 4) \end{gather*}

مدل:

y^=wx\hat{y} = wx

زیان هر مشاهده:

ℓi=12(wxi−yi)2\ell_i = \frac{1}{2}(wx_i – y_i)^2

وزن اولیه صفر و نرخ یادگیری ۰٫۱ است. دو مشاهده به‌ترتیب پردازش می‌شوند.

حل

برای مشاهده اول:

g1=(0−2)(1)=−2w1=0−0.1(−2)=0.2\begin{gather*} g_1 = (0 – 2)(1) = -2 \\ w_1 = 0 – 0.1(-2) = 0.2 \end{gather*}

برای مشاهده دوم، از وزن جدید استفاده می‌کنیم:

y^2=0.2(2)=0.4g2=(0.4−4)(2)=−7.2w2=0.2−0.1(−7.2)w2=0.92\begin{gather*} \hat{y}_2 = 0.2(2) = 0.4 \\ g_2 = (0.4 – 4)(2) = -7.2 \\ w_2 = 0.2 – 0.1(-7.2) \\ \boxed{w_2 = 0.92} \end{gather*}

پس از یک Epoch با دو اصلاح جداگانه، وزن برابر ۰٫۹۲ است.

مسئله ۳ — Momentum

گرادیان‌ها:

g1=−3,g2=−2g_1 = -3, \quad g_2 = -2

ضریب مومنتوم:

β=0.8\beta = 0.8

نرخ یادگیری:

η=0.1و:u0=0,w0=0\begin{gather*} \eta = 0.1 \\ \text{و:} \\ u_0 = 0, \quad w_0 = 0 \end{gather*}

رابطه:

ut=βut−1+gtwt=wt−1−ηut\begin{gather*} u_t = \beta u_{t-1} + g_t \\ w_t = w_{t-1} – \eta u_t \end{gather*}

حل

گام اول:

u1=−3w1=0.3\begin{gather*} u_1 = -3 \\ w_1 = 0.3 \end{gather*}

گام دوم:

u2=0.8(−3)−2=−4.4w2=0.3−0.1(−4.4)w2=0.74\begin{gather*} u_2 = 0.8(-3) – 2 = -4.4 \\ w_2 = 0.3 – 0.1(-4.4) \\ \boxed{w_2 = 0.74} \end{gather*}

مسئله ۴ — AdaGrad

گرادیان‌های یک پارامتر:

g1=3,g2=4g_1 = 3, \quad g_2 = 4

نرخ یادگیری:

η=0.1\eta = 0.1

و s₀ = ۰ است. ε را در این مثال صفر بگیرید.

حل

گام اول:

s1=32=9Δw1=−0.139=−0.1\begin{gather*} s_1 = 3^2 = 9 \\ \Delta w_1 = -0.1\frac{3}{\sqrt{9}} = -0.1 \end{gather*}

گام دوم:

Δw2=−0.1425Δw2=−0.08\begin{gather*} \Delta w_2 = -0.1\frac{4}{\sqrt{25}} \\ \boxed{\Delta w_2 = -0.08} \end{gather*}

اگر وزن اولیه صفر باشد:

w2=−0.18\boxed{w_2 = -0.18}

مسئله ۵ — RMSProp

فرض کنید:

v₀ = ۰، g₁ = ۴، g₂ = ۲
ρ = ۰٫۵، η = ۰٫۱
با ε = ۰ محاسبه کنید.

حل

v1=0.5(0)+0.5(16)=8Δw1=−0.148Δw1≈−0.141421\begin{gather*} v_1 = 0.5(0) + 0.5(16) = 8 \\ \Delta w_1 = -0.1\frac{4}{\sqrt{8}} \\ \boxed{\Delta w_1 \approx -0.141421} \end{gather*}

گام دوم:

v2=0.5(8)+0.5(4)=6Δw2=−0.126Δw2≈−0.081650\begin{gather*} v_2 = 0.5(8) + 0.5(4) = 6 \\ \Delta w_2 = -0.1\frac{2}{\sqrt{6}} \\ \boxed{\Delta w_2 \approx -0.081650} \end{gather*}

از وزن اولیه صفر:

w2≈−0.223071\boxed{w_2 \approx -0.223071}

مسئله ۶ — اصلاح بایاس Adam

فرض کنید:

m2=−0.19v2=0.003998β1=0.9,β2=0.999\begin{gather*} m_2 = -0.19 \\ v_2 = 0.003998 \\ \beta_1 = 0.9, \qquad \beta_2 = 0.999 \end{gather*}

ممان‌های اصلاح‌شده را محاسبه کنید.

حل

m^2=−0.191−0.92m^2=−1v^2=0.0039981−0.9992=0.0039980.001999v^2=2\begin{gather*} \hat{m}_2 = \frac{-0.19}{1 – 0.9^2} \\ \boxed{\hat{m}_2 = -1} \\ \hat{v}_2 = \frac{0.003998}{1 – 0.999^2} \\ = \frac{0.003998}{0.001999} \\ \boxed{\hat{v}_2 = 2} \end{gather*}

مسئله ۷ — AdamW

وزن اولیه:

w=5w = 5

نرخ یادگیری:

η=0.1\eta = 0.1

ضریب Weight Decay:

λ=0.02\lambda = 0.02

و نسبت ممان‌های اصلاح‌شده:

m^v^+ϵ=1.5\frac{\hat{m}}{\sqrt{\hat{v}} + \epsilon} = 1.5

است.

حل

wnew=(1−ηλ)w−η(1.5)=(1−0.002)(5)−0.15=4.99−0.15wnew=4.84\begin{gather*} w_{\mathrm{new}} = (1 – \eta\lambda)w – \eta(1.5) \\ = (1 – 0.002)(5) – 0.15 \\ = 4.99 – 0.15 \\ \boxed{w_{\mathrm{new}} = 4.84} \end{gather*}

مسئله ۸ — نیوتن

تابع:

L(w)=2(w−4)2L(w) = 2(w – 4)^2

با (w_0=1) یک گام نیوتن انجام دهید.

حل

L′(w)=4(w−4)L′′(w)=4در (w=1):L′(1)=−12\begin{gather*} L'(w) = 4(w – 4) \\ L”(w) = 4 \\ \text{در } (w=1): \\ L'(1) = -12 \end{gather*}

بنابراین:

w1=1−−124w1=4\begin{gather*} w_1 = 1 – \frac{-12}{4} \\ \boxed{w_1 = 4} \end{gather*}

و زیان صفر است.

مسئله ۹ — Gradient Clipping

گرادیان:

g=[512]g = \begin{bmatrix} 5 \\ 12 \end{bmatrix}

آستانه Norm Clipping برابر ۶ است.

حل

‖g‖2=25+144=13\|g\|_2 = \sqrt{25 + 144} = 13

ضریب:

α=613\alpha = \frac{6}{13}

گرادیان جدید:

g~=613[512]g~=[30137213]\begin{gather*} \tilde{g} = \frac{6}{13} \begin{bmatrix} 5 \\ 12 \end{bmatrix} \\ \boxed{\tilde{g} = \begin{bmatrix} \frac{30}{13} \\[4pt] \frac{72}{13} \end{bmatrix}} \end{gather*}

یا تقریباً:

g~=[2.30775.5385]\boxed{\tilde{g} = \begin{bmatrix} 2.3077 \\ 5.5385 \end{bmatrix}}

مسئله ۱۰ — برنامه نرخ یادگیری

فرض کنید:

η0=0.2,γ=0.5,S=4\eta_0 = 0.2, \quad \gamma = 0.5, \quad S = 4

و از Step Decay استفاده کنیم.

نرخ یادگیری در (t=10) چقدر است؟

حل

η10=0.2(0.5)⌊10/4⌋=0.2(0.5)2η10=0.05\begin{gather*} \eta_{10} = 0.2(0.5)^{\lfloor 10/4 \rfloor} \\ = 0.2(0.5)^2 \\ \boxed{\eta_{10} = 0.05} \end{gather*}

مسئله ۱۱ — آمار حافظه Adafactor

ماتریس وزن:

W∈ℝ1000×3000W \in \mathbb{R}^{1000 \times 3000}

ممان دوم کامل چند عدد نیاز دارد و آمار فاکتورگیری‌شده سطری و ستونی چند عدد؟

حل

ممان دوم کامل:

1000×3000=3,000,0001000 \times 3000 = 3{,}000{,}000

آمار فاکتورگیری‌شده:

1000+3000=40001000 + 3000 = 4000

نسبت:

3,000,0004000=750\frac{3{,}000{,}000}{4000} = 750

کاهش ۷۵۰ برابری تعداد اعداد آمار ممان دوم

این نتیجه درباره کل حافظه آموزش نیست.

مسئله ۱۲ — تصمیم اقتصادی

دو مدل تشخیص خرابی داریم.

  • مدل A دارای ۵ خطای FN و ۱۰ خطای FP است.
  • مدل B دارای ۳ خطای FN و ۲۵ خطای FP است.

هزینه هر FN برابر ۴۰ میلیون و هر FP برابر ۲ میلیون تومان است.

حل

CA=5(40)+10(2)CA=220CB=3(40)+25(2)CB=170\begin{gather*} C_A = 5(40) + 10(2) \\ \boxed{C_A = 220} \\ C_B = 3(40) + 25(2) \\ \boxed{C_B = 170} \end{gather*}

مدل B در این سناریو:

220−170=50220 – 170 = 50

میلیون تومان هزینه کمتری دارد.

Sidebar atefi
دکتر محمدرضا عاطفی

عضو هیئت علمی دانشگاه
رئیس هیئت مدیره گروه ناب
هم بنیان گذار شرکت دانش بنیان
مشاور شرکت ها و سازمان های بزرگ کشور

آنچه می خوانید

Cover2 optimized 300x169
هوش مصنوعی

توابع زیان طبقه‌بندی در شبکه‌های عصبی؛ از Cross-Entropy تا Focal Loss

۲.۱۶.زیان تویدی (Tweedie Deviance Loss) آخرین تابع این بخش برای داده‌هایی طراحی شده است که ممکن است تعداد زیادی مقدار صفر داشته باشند، اما مقادیر مثبت آن‌ها پیوسته و گاهی بسیار بزرگ باشند. برای مثال، در یک شرکت بیمه، بسیاری از مشتریان طی سال هیچ خسارتی ثبت نمی‌کنند و مبلغ

توضیحات بیشتر »
Cover1 compressed 4 300x169
هوش مصنوعی

توابع زیان رگرسیون در شبکه‌های عصبی؛ از MSE و MAE تا روش‌های احتمالاتی

۱.از پیش‌بینی شبکه تا اندازه‌گیری خطا شبکه عصبی چگونه متوجه می‌شود که در پیش‌بینی خود اشتباه کرده است؟ مهم‌تر از آن، چگونه می‌توان میزان این اشتباه را به عددی تبدیل کرد که برای اصلاح رفتار شبکه قابل استفاده باشد؟ فرض کنید یک شرکت فروش اینترنتی برای پیش‌بینی تعداد سفارش‌های روزانه

توضیحات بیشتر »
Cover6 compressed 300x169
هوش مصنوعی

اطلس مرجع بهینه‌سازهای شبکه عصبی؛ فرمول‌ها، مقایسه محاسباتی و مطالعات کاربردی

۵6. اطلس مرجع بهینه‌سازها ۵6.۱. هدف و جایگاه اطلس تا این مرحله، مفاهیم و الگوریتم‌های اصلی بهینه‌سازی شبکه‌های عصبی را از مشتق و گرادیان تا روش‌های تطبیقی، شبه‌نیوتنی و الگوریتم‌های ماتریسی پیشرفته مطالعه کردیم. بااین‌حال، هنگام اجرای یک پروژه واقعی، دانشجو یا پژوهشگر معمولاً به یک مرجع سریع نیاز دارد

توضیحات بیشتر »
error: محتوا غیر قابل انتخاب و کپی است.