فروم بچه های تولز

شکل ۱.۷. یک شبکه عصبی توسط وزنه های خود parameterized می شود .

برای کنترل چیزی ، ابتدا باید بتوانید آن را مشاهده کنید . برای کنترل خروجی یک شبکه عصبی باید قادر به اندازه گیری این باشید که این خروجی تا چه حد از آنچه انتظار داشتید ، فاصله دارد . این وظیفه تابع هزینه است که تابع هدف نیز نامیده می شود. تابع هزینه پیش بینی شبکه و هدف حقیقی ( آنچه که شما شبکه را می خواهید ) را می گیرد و امتیاز فاصله ای را محاسبه می کند ، ثبت این که چگونه شبکه در این مثال خاص چگونه انجام شده است ( شکل ۱.۸ را ببینید ) .

شکل ۱.۸ یک تابع افت کیفیت خروجی شبکه را اندازه گیری می کند.

نکته اصلی در یادگیری عمیق این است که این امتیاز را به عنوان یک سیگنال بازخورد برای تنظیم مقدار وزن ها به مقدار کمی ، در مسیری که امتیاز هزینه را برای مثال فعلی کاهش می دهد ( شکل ۱.۹ ) . این تنظیمات وظیفه بهینه سازاست ، که آن چیزی را که الگوریتم backpropagation نامیده می شود را اجرا می کند : الگوریتم مرکزی در یادگیری عمیق . فصل بعدی با جزییات بیشتر توضیح می دهد که چگونه backpropagation کار می کند .

شکل ۱.۹. نمره اتلاف به عنوان یک سیگنال بازخورد برای تنظیم وزن ها استفاده می شود .

در ابتدا ، مقادیر شبکه به مقادیر تصادفی اختصاص یافته است ، بنابراین شبکه صرفا ً مجموعه ای از تبدیلات تصادفی را اجرا می کند . طبیعتا ً، خروجی آن بسیار دور از چیزی است که باید باشد ، و مقدار loss آن بسیار بالا است . اما با هر نمونه از فرایندهای شبکه ، وزن ها کمی در جهت درست تنظیم می شوند و مقدار loss کاهش می یابد . این حلقه آموزشی است که تعداد کافی بار ( معمولا ده ها تکرار بر روی هزاران مثال را تکرار می کند )، مقادیر وزنی را به روز رسانی می کند  که تابع هزینه را به حداقل می رساند . یک شبکه با حداقل زیان ، خروجی های آن به نتایج مطلوب به همان اندازه نزدیک هستند که می توانند به اهداف برسند : یک شبکه آموزش دیده . یک بار دیگر ، یک مکانیزم ساده است که وقتی مقیاس بندی شده ، مثل جادو به پایان می رسد .