برازش

بیش برازش (Overfitting)، کم برازش (Underfitting) و برازش مناسب

حال که تفاوت بایاس و واریانس را فهمیدیم، لازم است با دو مفهوم بیش‌ برازش و کم‌ برازش آشنا شویم. پراکندگی (شکل بالا)، کم‌برازش (واریانس کم، بایاس بالا) در سمت چپ و بیش‌برازش (واریانس بالا، بایاس کم) در سمت راست نمایش‌داده‌شده است. 

  اگر نتوانیم بین بایاس و واریانس به تعادل برسیم، احتمال مشاهده نتایج ضعیف، بالا می‌رود. همان‌طور که در شکل بالا دیده می‌شود، این مسئله می‌تواند باعث ساده و غیرانعطاف‌پذیر شدن بیش از حد (کم‌برازش)، یا بیش از حد پیچیده و انعطاف‌پذیر شدن (بیش‌برازش) مدل بشود.

شاید وسوسه شده و باهدف بهبود دقت، مدل را پیچیده‌تر کنیم (همان‌طور که در راست نشان‌داده‌شده است)- که البته به نوبه‌ی خود باعث بیش‌برازش می‌شود. یک مدل بیش‌برازش شده، داده‌های آموزشی را به‌درستی پیش‌بینی می‌کند ولی در انجام پیش‌بینی برای داده‌های آزمایشی، ضعیف‌تر عمل می‌کند. اگر قبل از تقسیم داده‌های آموزشی و آزمایشی، به شکل تصادفی جابه‌جا نشده باشند و الگوهای موجود در دو قطعه از داده، به‌خوبی پخش نشده باشند، ممکن است بیش‌برازش اتفاق بیفتد.

کم‌برازش زمانی اتفاق می‌افتد که مدل بسیار ساده باشد و مثل حالت قبلی، الگوهای پنهان مجموعه‌داده را به‌خوبی پوشش ندهد. کم‌برازش باعث پیش‌بینی‌های غلط برای هر دودسته داده‌های آموزشی و آزمایشی می‌شود. از دلایل رایج زیر برازش، ناکافی بودن داده آموزشی برای پوشش کامل تمام ترکیبات ممکن و همین‌طور خوب جابه‌جا نشدن تصادفی داده‌های آموزشی و آزمایشی، می‌باشد.

راه‌حل‌های بیش‌ برازش و کم برازش

یکی از راه‌های حل مشکل بیش‌ برازش و کم‌ برازش، تغییر ابرپارامترهای مدل است تا مطمئن بشوید که با الگوهای موجود در هر دو داده آموزشی و آزمایش (نه فقط با یک نیمه از داده‌ها)، سازگار می‌شود.

وقتی ابرپارامترها به‌خوبی تنظیم شده باشند، الگوهای مهم درداده پیدا شده و تغییرات کوچک را کم‌اثر و یا حذف می‌کند. بااین‌حال، در اکثر نمونه‌ها، ممکن است نیاز داشته باشید که بر اساس آزمون‌ و خطا، تغییر الگوریتم یا اصلاح پارامترها را به‌منظور کاهش و مدیریت مشکل مصالحه بین بایاس و واریانس، در نظر بگیرید.

احتمالاً در چنین شرایطی، نیاز به تغییر رگرسیون خطی به رگرسیون غیرخطی باشد تا با افزایش واریانس، بایاس کاهش یابد. شاید گزینه بعدی، افزایش “k” در KNN باهدف کاهش واریانس (با میانگین‌گیری همسایه‌های بیشتری) باشد. ممکن است گزینه سوم کاهش واریانس با تغییر تک‌درخت تصمیم (Decision Tree) (که مستعد بیش‌برازش است) به یک جنگل تصادفی (Random Forest) (با تعداد زیادی درخت تصمیم) باشد.

استراتژی مؤثر دیگر برای مبارزه با بیش‌ برازش و کم‌ برازش، رگولاریزاسیون (Regularization) است. رگولاریزاسیون به شکل مصنوعی، خطای بایاس را با جریمه افزایش پیچیدگی مدل، زیاد می‌کند. در عمل، این پارامتر اضافه شده یک اعلان هشدار ایجاد می‌کند – برای بالا نگه‌داشتن واریانس درحالی‌که پارامترهای اصلی در حال بهینه‌سازی هستند.

تکنیک مؤثر دیگر برای جلوگیری از بیش برازش و زیر برازش، انجام اعتبارسنجی متقابل است تا هرگونه اختلاف بین داده‌های آموزشی و آزمایشی به حداقل برسد.