روش‌ها و معیارهای ارزیابی الگوریتم یادگیری ماشین

معیارهای متنوعی برای ارزیابی کارایی الگوریتم‌های یادگیری ماشین، الگوریتم‌های دسته‌بندی و رگرسیون وجود دارد. باید در انتخاب معیارهای ارزیابی کارایی یادگیری ماشینی دقت به خرج داده شود زیرا:  

چگونگی اندازه‌گیری و مقایسه کارایی الگوریتم‌های یادگیری ماشینی کاملاً به معیارهایی که انتخاب می‌کنید وابسته است.

چگونگی وزن دادن به اهمیت ویژگی‌های مختلف در نتایج، کاملاً تحت تأثیر معیارهایی است که انتخاب می‌کنید.

معیارهای کارایی برای مسائل دسته‌بندی (classification):

ماتریس سردرگمی (confusion matrix):

زمانی که خروجی شامل دو نوع کلاس و یا بیشتر است، این ساده‌ترین راه برای اندازه‌گیری کارایی یک مسئله دسته‌بندی است. ماتریس سردرگمی چیزی جز یک جدول با دو بعد نیست. مقدار واقعی(actual value)  و پیش‌بینی‌شده .(predicted value) همان‌طور که در شکل زیر نشان داده‌شده است، هر دو بعد دارای مثبت-صحیح(TP)، منفی-صحیح(TN)، مثبت-غلط(FP)  و منفی-غلط (FN) است.

اصطلاحات مربوط به ماتریس سردرگمی در ادامه توضیح داده‌شده است.

مثبت-صحیح(TP):

زمانی است که هر دو کلاس واقعی و پیش‌بینی از نقاط داده 1 است.

منفی-صحیح(TN):

زمانی است که هر دو کلاس واقعی و پیش‌بینی از نقاط داده صفر است.

مثبت-غلط (FP):

زمانی است که کلاس واقعی از نقطه داده صفر و کلاس پیش‌بینی 1 است.

منفی-غلط(FN):

زمانی است که کلاس واقعی از نقطه داده 1 و کلاس پیش‌بینی صفر است.

دقت دسته‌بندی (classification accuracy):‌

این متداول‌ترین معیار کارایی برای الگوریتم‌های دسته‌بندی است. می‌توان آن را در قالب تعداد پیش‌بینی‌های صحیح صورت گرفته به نسبت همه پیش‌بینی‌های صورت گرفته، تعریف کنیم. با کمک رابطه زیر و با استفاده از ماتریس سردرگمی می‌توان آن را محاسبه کرد.

دقت:

دقت استفاده‌شده در بازیابی اسناد می‌تواند به‌صورت تعداد اسناد صحیح بازگردانده شده توسط مدل یادگیری ماشینی ما، تعریف شود. با کمک رابطه زیر و با استفاده از ماتریس سردرگمی می‌توان آن را به‌سادگی محاسبه کرد.

یادآوری(recall)  یا حساسیت (sensitivity):‌

یادآوری را می‌توان در قالب تعداد مثبت‌های بازگردانده شده توسط مدل یادگیری ماشینی تعریف کرد. با کمک رابطه زیر و با استفاده از ماتریس سردرگمی می‌توان آن را به‌سادگی محاسبه کرد.

اختصاصی بودن(Specificity): ‌

در مقابل یادآوری، اختصاصی بودن را می‌توان در قالب تعداد منفی‌های بازگردانده شده توسط الگوریتم یادگیری ماشینی تعریف کرد. با کمک رابطه زیر و با استفاده از ماتریس سردرگمی می‌توان آن را به‌سادگی محاسبه کرد.

پشتیبانی: ‌

پشتیبانی را می‌توان در قالب تعداد نمونه‌های پاسخ صحیح که در هر کلاس از مقادیر هدف قرار می‌گیرد، تعریف کرد.