ابرمقادیر

دسته ها

در آموزش شبکه های عصبی، اصطلاح "دسته ها" به تعداد نمونه های داده ای اشاره دارد که به طور همزمان در شبکه عصبی قرار می گیرند و در یک مرحله از فرآیند آموزش پردازش می شوند. اندازه دسته یک پارامتر مهم در آموزش شبکه عصبی است و می تواند به طور مستقیم بر کیفیت و سرعت آموزش تأثیر بگذارد. برخی از اثرات اندازه دسته عبارتند از: آموزش سریع تر: استفاده از اندازه دسته بزرگتر می تواند منجر به آموزش سریع تر شود زیرا شبکه در هر مرحله آموزش اطلاعات بیشتری دریافت می کند و بر اساس آن به روزرسانی وزن انجام می دهد. استفاده بهینه از منابع محاسباتی: استفاده از اندازه دسته بزرگتر می تواند منجر به استفاده بهینه تر از منابع محاسباتی مانند پردازنده های GPU و حافظه شود. از آنجا که شبکه با داده های بیشتری در هر مرحله آموزش کار می کند، می تواند از منابع محاسباتی استفاده بهینه تری کند. پایداری آموزش: استفاده از اندازه دسته بزرگتر می تواند به پایداری آموزش کمک کند. با افزایش تنوع داده های ورودی که توسط شبکه در هر مرحله مشاهده می شود، احتمال بیش برازش کاهش می یابد. به طور کلی، انتخاب اندازه دسته باید بر اساس نیازهای خاص مسئله، منابع محاسباتی موجود، و اهداف آموزش انجام شود.

دوره

یک "دوره" در آموزش شبکه های عصبی به یک بررسی کامل از کل مجموعه داده های آموزش اشاره دارد. در هر دوره، الگوریتم آموزش بر روی کل مجموعه داده تکرار می کند، داده ها را به شبکه عصبی در دسته ها می دهد، پیشرو و عقبگرد را انجام می دهد و پارامترهای مدل (وزن ها و سوگیری ها) را بر اساس گرادیان های محاسبه شده به روز می کند. تعداد دوره ها یک فراپارامتر مهم در آموزش شبکه های عصبی است و تعیین می کند که چند بار الگوریتم آموزش بر روی کل مجموعه داده تکرار خواهد شد. افزایش تعداد عصور به مدل اجازه می دهد تا داده های آموزش را چندین بار ببیند، که می تواند منجر به همگرایی بهتر و عملکرد بهبود یافته شود. با این حال، استفاده از تعداد زیادی دوره همچنین می تواند خطر بیش برازش را افزایش دهد، جایی که مدل داده های آموزش را به جای یادگیری الگوهای قابل تعمیم حفظ می کند. انتخاب تعداد عصور بستگی به عوامل مختلفی دارد، از جمله پیچیدگی مجموعه داده، اندازه مجموعه داده، معماری شبکه عصبی، و سطح عملکرد مدل مورد نظر. روش رایج این است که عملکرد مدل را در طول آموزش بر روی یک مجموعه داده اعتبارسنجی جداگانه نظارت کنید و زمانی که عملکرد بهبود نمی یابد یا شروع به تخریب می کند، آموزش را متوقف کنید، یک تکنیک به نام توقف زودهنگام. این کمک می کند تا از بیش برازش جلوگیری کند و اطمینان حاصل کند که مدل به خوبی به داده های دیده نشده تعمیم می یابد.