دسته‌بندی مبتنی بر قانون

دسته‌بندی کننده‌های مبتنی بر قانون فقط نوع دیگری از دسته‌بندی کننده‌ها هستند که با استفاده از قوانین مختلف "if...else" تصمیم کلاس را می‌گیرند. این قوانین به‌راحتی قابل تفسیر هستند و بنابراین از این دسته‌بندی‌ها معمولاً برای تولید مدل‌های توصیفی استفاده می‌شود.   

روش‌های مبتنی بر انتخاب ویژگی

مساله انتخاب ویژگی، یکی از مسائلی است که در مبحث یادگیری ماشین و همچنین شناسائی آماری الگو مطرح است. این مساله در بسیاری از کاربردها (مانند طبقه بندی) اهمیت به سزائی دارد، زیرا در این کاربردها تعداد زیادی ویژگی وجود دارد، که بسیاری از آنها یا بلااستفاده هستند و یا اینکه بار اطلاعاتی چندانی ندارند. حذف نکردن این ویژگی‌ها مشکلی از لحاظ اطلاعاتی ایجاد نمی‌کند ولی بار محاسباتی را برای کاربرد مورد نظر بالا می‌برد. و علاوه بر این باعث می‌شود که اطلاعات غیر مفید زیادی را به همراه داده‌های مفید ذخیره کنیم. 

روش‌های مبتنی بر استخراج ویژگی

روش­های مبتنی بر استخراج ویژگی، یک فضای چند بعدی را به یک فضای با ابعاد کمتر نگاشت می‌دهند. این روش­ها به دو دسته خطی و غیرخطی تقسیم می‌شوند.روش‌های خطی که ساده‌ترند و فهم آنها راحت‌تر است بدنبال یافتن یک زیرفضای تخت عمومی هستند. اما روش­های غیرخطی که مشکل­تر هستند و تحلیل آنها سخت‌تر است بدنبال یافتن یک زیرفضای تخت محلی می‌باشند.  

مفهوم ویژگی، بردار ویژگی و استخراج ویژگی چیست؟

           ویژگی و استخراج ویژگی چیست؟

چرا باید ویژگی استخراج کنیم؟

مشخصات ویژگی خوب چیست؟

در شناسایی آماری الگو، ویژگی به یک مشخصه یا خصوصیت قابل اندازه‌گیری از یک پدیده‌ای که مشاهده می‌کنیم گفته می‌شود. از هر پدیده ویژگی‌های مختلفی را اندازه‌گیری می‌کنیم که به آن پروسه استخراج ویژگی گفته می‌شود.   

ویژگی و انتخاب ویژگی

 طی چند سال اخیر مجموعه داده‌های متعددی با ابعاد بالا در اینترنت در دسترس قرار گرفتند. زیرا برای الگوریتم‌های یادگیری ماشین سر و کار داشتن با حجم زیادی از ویژگی‌های ورودی کاری دشوار است. در حال حاضر ابعاد مجموعه داده‌های بنچ‌مارک که از مخازن داده گوناگون در دسترس هستند به میلیون‌ها عدد یا حتی بیشتر افزایش یافته است. در حقیقت تحلیل‌هایی که توسط پژوهشگران انجام شده حاکی از آن است که ۷ تا از ۱۱ مجموعه داده‌ای که در سال ۲۰۰۷ منتشر شده‌اند دارای ابعادی بالغ بر میلیون‌ها ویژگی بوده‌اند. برای مواجهه با مساله تعداد بالای ویژگی‌ها روش‌های کاهش ابعاد الزامی است و می‌توانند به بهبود کارایی یادگیری کمک کنند. 

سیستم های دسته بند یادگیر از آغاز تاکنون

جان هنری هالند به خاطر کار خود در زمینه محبوب سازی الگوریتم های ژنتیکی، از طریق کتابی که در سال 1975 با اقتباس از "سازگاری در سیستم های طبیعی و مصنوعی" و رسمیت بخشیدن به قضیه شمای هلند انجام داد، بیشتر شناخته شد. در سال 1976 هلند مفهوم الگوریتم ژنتیکی را به آنچه که او "سیستم شناختی" نامیده بود مفهوم زد و اولین شرح مفصلی را که به عنوان اولین سیستم طبقه بندی یادگیری شناخته می شود در مقاله "سیستمهای شناختی مبتنی بر الگوریتمهای تطبیقی" ارائه داد. این سیستم اول با نام سیستم شناختی اول به عنوان ابزاری برای الگوسازی طراحی شده بود که برای مدل سازی یک سیستم واقعی با پویایی اساسی ناشناخته با استفاده از جمعیت قواعد قابل خواندن انسان طراحی شده بود. در محیط مبتنی بر بازپرداخت یا پاداش که اعمال این قوانین برای ایجاد رفتاری با سیستم واقعی مطابقت داشته باشد. این اجرای زودهنگام بعداً بعنوان بسیار پیچیده تلقی شد و نتایج متناقضی را به همراه آورد.