گرادیان کاهشی چیست؟
مقدمه در یادگیری عمیق، مسئلهی اصلی تنها ساختن یک مدل پیچیده نیست، بلکه یاد دادنِ مؤثر به آن مدل است. شبکههای عصبی با میلیونها یا حتی میلیاردها پارامتر، بدون یک سازوکار منظم برای اصلاح خطا، صرفاً مجموعهای از محاسبات تصادفی باقی میمانند. آنچه این پارامترها را به سمت یادگیری هدایت میکند، الگوریتمی است که بتواند […]
نزول گرادیان تصادفی (SGD) چیست؟
مقدمه در یادگیری عمیق، مدلها با میلیونها پارامتر و حجم عظیمی از دادهها سروکار دارند؛ بنابراین انتخاب الگوریتم بهینهسازی، نقشی تعیینکننده در موفقیت یا شکست فرآیند آموزش دارد. نزول گرادیان تصادفی بهعنوان یکی از قدیمیترین و در عین حال مؤثرترین روشهای بهینهسازی، ستون فقرات آموزش شبکههای عصبی عمیق محسوب میشود. برخلاف نزول گرادیان کلاسیک که […]