معرفی Confusion matrix و معیارهای ارزیابی یادگیری ماشین

ارزیابی یک سیستم یادگیری ماشین

بعد از فرآیند آموزش، مهمترین مسئله، ارزیابی مدل آموزش دیده است. برای مسائلی از جنس کلاس بندی (Classification) معمولا چند معیار استاندارد وجود دارد که از آن ها استفاده می شود. اما قبل از محاسبه ی این مقادیر باید چهار پارامتر اصلی TP، FP، TN, FN محاسبه شوند.

Confusion Matrix چیست؟

برای یک مسئله ی کلاس بندی دو کلاسه، Confusion Matrix یک ماتریس دو در دو است که شامل پارامترهای TP، FP، TN, FN است. برای روشن تر شدن موضوع، فرض کنید مسئله مورد بررسی ما، تشخیص توییت های اسپم و غیر اسپم است. ماتریس درهم ریختگی برای این مسئله به شکل زیر خواهد بود که در آن سطرها نشان دهنده تشخیص های سیستم و ستون ها نشان دهنده واقعیت داده ها است. توجه شود که در آن کلاس اسپم به عنوان کلاس مثبت و کلاس غیر اسپم به عنوان منفی در نظر گرفته شده است.

TP تعداد تشخیص­ های صحیح توییت­ های اسپم است.

FP تعداد تشخیص ­های سلول­های غیراسپم است که به اشتباه اسپم معرفی شده ­اند.

TN تعداد تشخیص ­های غیراسپمی هستند که به درستی غیراسپم معرفی شده ­اند.

FN تعداد توییت­ های اسپمی هستند که به اشتباه غیر اسپم در نظر گرفته شده ­اند.

معیارهای ارزیابی

براي ارزيابي ميزان كيفيت سیستم خودکار یادگیری ماشین پیشنهادی، از معيارهاي استاندارد دقت، كارايي، صحت و معيار F استفاده مي­ شود.

معيار دقت یا precision بیان کننده ­ی نسبت تشخیص ­های صحیح توییت­ های اسپم به کل تشخیص ها است.

معيار کارایی یا Recall نسبت تشخیص­ های صحیح توییت­ های اسپم به کل توییت­ های اسپم موجود است.

معیار صحت یا Accuracy هم نسبت تشخیص­های صحیح (هم برای توییت­های اسپم و هم غیراسپم) را به تمام تشخیص­ ها نشان می­ دهد.

با توجه به اينكه دو معيار دقت و كارايي عكس يكديگر هستند؛ به اين­صورت كه افزايش يكي باعث كاهش ديگري و بالعكس مي­شود بنابراين يك معيار دیگر به نام معيار F تعريف مي­ كنيم. این معیار در واقع میانگین هندسی دو معیار ذکر شده است.

مثال:  فرض کنید مجموعه ای از 100 توییت داشته باشیم که در واقع 80تای آن­ها غیر اسپم و 20 عدد از آنها اسپم هستند. سیستم ما پس از یادگیری، 85 عدد را غیر اسپم تشخیص داده که 78 عدد درست و بقیه اشتباه تشخیص داده شده اند. همچنین 15 عدد را اسپم تشخیص داده که 2 تای آن­ها اشتباه و بقیه درست هستند. مقادیر دقت و کارایی و صحت را محاسبه کنید. (اسپم کلاس مثبت و غیر اسپم کلاس منفی است)

        TP= 13, FP= 2

TN=78,  FN= 7

Precision=13/15=0.86

Recall=13/20= 0.65

Accuracy= 91/100= 0.91