سیستم های دسته بند یادگیر از آغاز تاکنون

جان هنری هالند به خاطر کار خود در زمینه محبوب سازی الگوریتم های ژنتیکی، از طریق کتابی که در سال 1975 با اقتباس از "سازگاری در سیستم های طبیعی و مصنوعی" و رسمیت بخشیدن به قضیه شمای هلند انجام داد، بیشتر شناخته شد. در سال 1976 هلند مفهوم الگوریتم ژنتیکی را به آنچه که او "سیستم شناختی" نامیده بود مفهوم زد و اولین شرح مفصلی را که به عنوان اولین سیستم طبقه بندی یادگیری شناخته می شود در مقاله "سیستمهای شناختی مبتنی بر الگوریتمهای تطبیقی" ارائه داد. این سیستم اول با نام سیستم شناختی اول به عنوان ابزاری برای الگوسازی طراحی شده بود که برای مدل سازی یک سیستم واقعی با پویایی اساسی ناشناخته با استفاده از جمعیت قواعد قابل خواندن انسان طراحی شده بود. در محیط مبتنی بر بازپرداخت یا پاداش که اعمال این قوانین برای ایجاد رفتاری با سیستم واقعی مطابقت داشته باشد. این اجرای زودهنگام بعداً بعنوان بسیار پیچیده تلقی شد و نتایج متناقضی را به همراه آورد. 

 در اوایل سال 1980، کنت دو جونگ و دانش آموزش استفان اسمیت رویکرد متفاوتی را برای یادگیری ماشین مبتنی بر قانون در نظر گرفتند، جایی که یادگیری به عنوان یک فرایند بهینه سازی آفلاین به جای یک فرایند سازگاری آنلاین مورد بررسی قرار می گرفت. این رویکرد جدید بیشتر شبیه به یک الگوریتم ژنتیکی استاندارد بود اما مجموعه قوانین مستقل را تکامل می داد. از آن زمان به بعد روش های یادگیری سیستم طبقه بندی با الهام از چارچوب یادگیری آنلاین که توسط هلند در دانشگاه میشیگان معرفی شده بود، به عنوان سیستم طبقه بندی یادگیری میشیگان شناخته می شود و به آنهایی که از اسمیت و د جونگ در دانشگاه پیتسبورگ الهام گرفته اند عنوان سیستم طبقه بندی یادگیری سبک پیتسبورگ اطلاق می شود. در سال 1986، هلند آنچه را که برای یک دهه آینده سیستم طبقه بندی استاندارد یادگیری میشیگان در نظر گرفته می شد، توسعه داد. مفاهیم مهم دیگری که در روزهای نخستین تحقیقات سیستم طبقه بندی یادگیری پدیدار شده اند شامل هستند:

(1) رسمیت الگوریتم تیپ سطل برای واگذاری اعتبار / یادگیری

 (2) انتخاب قوانین والدین از "طاقچه های زیست محیطی" مشترک به جای کل جمعیت

(3) پوشش، برای اولین بار به عنوان یک اپراتور ایجاد معرفی شد

(4) یک مجموعه رسمی فعالیت

(5) یک معماری الگوریتم ساده شده

(6) تناسب اندام مبتنی بر قدرت

(7) در نظر گرفتن مشکلات یادگیری تک مرحله ای یا نظارت شده و معرفی مجموعه صحیح

(8) تناسب اندام مبتنی بر دقت

(9) ترکیبی از منطق فازی با سیستم طبقه بندی یادگیری

(10) تشویق زنجیره های عمل طولانی و سلسله مراتب پیش فرض برای بهبود عملکرد در مشکلات چند مرحله

(11) بررسی یادگیری نهفته

(12) معرفی اولین روش واگذاری اعتبار مانند Q-یادگیری.

در حالی که همه این مفاهیم در الگوریتم های سیستم طبقه بندی یادگیری مدرن استفاده نمی شوند، اما هر یک از نقاط برجسته در توسعه الگوی سیستم طبقه بندی یادگیری بودند.