سال انتشار: ۱۳۸۷

محل انتشار: دومین همایش ملی مهندسی برق، کامپیوتر و فناوری اطلاعات

تعداد صفحات: ۸

نویسنده(ها):

اعظم ربیعی دولت آبادی – دانشگاه آزاد اسلامی واحد دولت آباد ، اصفهان
محمد تشنه لب – دانشگاه صنعتی خواجه نصیرالدین طوسی، تهران

چکیده:

الگوریتم گرادیان نزولی پایه بسیاری از الگوریتم های بهینه سازی است و از آن در یادگیری شبکه های عصبی و حداقل سازی مقدار خطای شبکه برای تنظیم پارامتر های شبکه استفاده می شود. دسته وسیعی از تحقیقات برای افزایش سرعت این الگوریتم در آموزش شبکه های عصبی چندلایه پیشرو انجام شده است؛ که از نتایج آن می توان به انواع روش های گرادیان مرتبه اول و دوم اشاره کرد. این مقاله ی مروری به جزئیات دقیق این روش ها نمی پردازد؛ بلکه هدف آن مشخص کردن ویژگی های اصلی این روشها و ارتباطشان است. در این گزارش ، از چهار روش گرادیان مرتبه اول و سه روش مرتبه دوم برای چهار تابع استاندارد جهت تخمین استفاده شد. در بین روش های گرادیان مرتبه اول ، همگرایی سریعتر در روش RPROPو در روش های مرتبه دوم در الگوریتم لونمارکوت (LM) دیده شد. واضح است که روش های مرتبه اول حجم محاسبات کمتری دارند و مقدار فضای کمتری نیاز دارند؛ در عوض برای بسیاری از مسائل بزرگ قابل استفاده نیستند.