مینی-بچ گرادیان کاهشی (Mini-batch Gradient Descent)چیست؟
مقدمه در آموزش مدلهای شبکههای عصبی عمیق، نحوهی محاسبه و بهروزرسانی گرادیانها نقش تعیینکنندهای در سرعت همگرایی، پایداری آموزش و مصرف منابع محاسباتی دارد. گرادیان کاهشی بهعنوان الگوریتم پایهی بهینهسازی، در عمل با چالشهایی مانند مقیاسپذیری روی دادههای بزرگ و نوسان گرادیان مواجه است. مینیبچ گرادیان کاهشی (Mini-Batch Gradient Descent) رویکردی است که با استفاده […]
مقایسه گرادیان کاهشی تصادفی، بچ و مینی-بچ
مقدمه در فرآیند آموزش مدلهای یادگیری ماشین و یادگیری عمیق، انتخاب روش بهروزرسانی پارامترها تأثیر مستقیمی بر سرعت همگرایی، پایداری آموزش و مصرف منابع محاسباتی دارد. گرادیان کاهشی بهعنوان الگوریتم پایهی بهینهسازی، در عمل به سه رویکرد اصلی تقسیم میشود: بچ گرادیان کاهشی (Batch Gradient Descent)، گرادیان کاهشی تصادفی (SGD) و مینیبچ گرادیان کاهشی (Mini-Batch […]