بیوگرافی مارتین وی. بوتز

چگونه ذهن به وجود می‌آید اصلی‌ترین تلاش پروفسور بوتز در تحقیقات خود است. بوتز در کتاب خود با همین عنوان پایه‌هایی را برای یک رویکرد جدید، کاربردی و محاسباتی جهت مطالعه یکپارچه ذهن با تلفیق بینش‌هایی از علوم اعصاب، عصب شناسی، روانشناسی، زبان شناسی، فلسفه، رباتیک، یادگیری ماشین و هوش مصنوعی می باشد. 

یک توضیح الگوریتمی از XCS

مهم‌ترین تفاوت بین XCS و سیستم دسته‌بند یادگیر در این است که سازگاری قانون برای الگوریتم ژنتیک، مبتنی بر بازپرداخت دریافتی بر اساس قوانین نیست بلکه در صحت پیش‌بینی‌های بازپرداخت است. XCS مبتنی بر استحکام یا سیستم‌های مبتنی بر بازپرداخت است در حال که سیستم دسته‌بند یادگیر مبتنی بر دقت نامیده می‌شوند.   

الگوریتم Bucket Brigade

 مسئله تخصیص اعتبار

الگوریتم Bucket Brigade برای حل مسئله تخصیص اعتبار استفاده می‌شود. این الگوریتم برای حل مسئله کمک می­ کند اصلاح قدرت دسته‌بندی‌ها به چه مقدار باشد. با توجه به این الگوریتم:

·       دسته‌بندی‌هایی که بر پیغام ورودی فعلی منطبق شود، برای انجام عمل مربوطه پیشنهاد می‌شود که پیشنهاد براساس تناسب قدرت آن می­ باشد.

·       وقتی پاداشی از محیط دریافت می‌شود یا وقتی یک دوره[1] گذرانده می‌شود. 

روابط یادگیری در ZCS وXCS

 شرح سیستم دسته ­بند سطح صفر

این سیستم با آشکارساز[1] محیط را حس و ورودی سیستم را دریافت و اثرگذار[2] با موتور عمل در ارتباط است. علاوه بر این محیط هر دفعه تقویت عددی را فراهم می‌کند که در اینجا پاداش نامیده می‌شود. در اوایل کار هالند ایده اصلی یک سیستم سنجش و یادگیر در یک محیط برای بدست آوردن پاداش ارائه شد.

[P] یا جمعیت شامل مجموعه دسته­بند­های فعلی و از الفبای باینری به علاوه نماد # که نشان دهنده "بی‌تفاوت" می ­باشد ساخته شده است. پس از دریافت وضعیت محیط از آشکارساز شرط هر دسته­ بند با آن مقایسه می‌شود. اگر هر بیت به جز # از شرط دسته­ بندها در آشکارساز صدق کند، آن دسته­ بند به مجموعه نظیر یا تطبیق[3] [M] اضافه می‌شود.  

مالتی پلکسر

مالتی‌پلکسر دستگاهی است که یکی از چند سیگنال دیجیتال یا آنالوگ ورودی‌هایش را انتخاب کرده و سپس آن ورودی انتخاب‌شده را به یک خط خروجی هدایت می‌کند. تسهیم‌کننده‌ای با n به توان 2‌ ورودی،  nخط انتخاب دارد که این خطوط انتخاب مشخص می‌کنند که کدام خط ورودی باید به خط خروجی هدایت شود. 

انواع یادگیری تقویتی

یادگیری تقویتی یکی از گرایش‌های یادگیری ماشینی است که از روانشناسی رفتارگرایی الهام می‌گیرد. این روش بر رفتارهایی تمرکز دارد که ماشین باید برای بیشینه کردن پاداشش انجام دهد. این مسئله، با توجه به گستردگی‌اش، درزمینه‌های گوناگونی بررسی می‌شود. مانند: نظریه بازی‌ها، نظریه کنترل، تحقیق در عملیات، نظریه اطلاعات، سامانه چندعامله، هوش ازدحامی، آمار، الگوریتم ژنتیک، بهینه‌سازی بر مبنای شبیه‌سازی. در مبحث تحقیق در عملیات و در ادبیات کنترل، حوزه‌ای که در آن روش یادگیری تقویتی مطالعه می‌شود برنامه‌نویسی تخمینی پویای خوانده می‌شود. این مسئله در تئوری کنترل بهینه نیز مطالعه شده است. البته دغدغه اصلی بیشتر مطالعات در این زمینه، اثبات وجود پاسخ بهینه و یافتن ویژگی‌های آن است و به دنبال جزئیات یادگیری یا تخمین نیست. یادگیری تقویتی در اقتصاد و نظریه بازیها بیشتر به بررسی تعادل‌های ایجادشده تحت عقلانیت محدود می‌پردازد.