بایاس و واریانس

بایاس (Bias) به فاصله بین مقدار پیش‌بینی شده با مقدار واقعی اشاره دارد. در حالتی که بایاس زیاد است، به‌ احتمال زیاد، پیش‌بینی‌ها در یک مسیر دور از مقادیر واقعی، تغییر جهت داده است.

الگوریتم‌ خوشه‌بندی 7

الگوریتم KNN

ساده‌ترین روش خوشه‌ بندی در یادگیری ماشین، الگوریتم KNN یا k نزدیک‌ترین همسایه (k-NN: k-nearest neighbors) است؛ یک روش یادگیری بانظارت که برای دسته‌بندی نقاط داده جدید بر اساس نزدیکی با نقاط داده فعلی، استفاده می‌شود. 

نحوه کار الگوریتم K-Means

خوشه‌ بندی k-means چگونه نقاط داده را جدا می‌کند؟ قدم اول بررسی داده خوشه‌ بندی نشده (Unclustered) بر روی نمودار پراکندگی و انتخاب دستی نقاط مرکزی (Centroids) برای هرکدام از خوشه‌ها است که در ادامه این نقاط مرکزی برای هر خوشه یک epicenter ایجاد می‌کنند. 

الگوریتم‌ خوشه‌بندی 6

الگوریتم Hierarchical

الگوریتم‌های خوشه‌بندی سلسله مراتبی (Hierarchical) در 2 دسته: از بالا به پایین یا پایین به بالا قرار می‌گیرند. الگوریتم‌های پایین به بالا هر نقطه داده را در ابتدا به عنوان یک خوشه واحد در نظر می‌گیرند و سپس به طور پی در پی جفت خوشه‌ها را ادغام می‌کنند (یا جمع می شوند) تا زمانی که همه خوشه‌ها در یک خوشه واحد ادغام می‌شوند که شامل تمام نقاط داده است. 

الگوریتم‌ خوشه‌بندی 5

الگوریتم خوشه‌بندی فازی 

یک الگوریتم خوشه‌بندی جهت تقسیم داده‌ها به خوشه‌هایی بیش از یک خوشه است. در این خوشه‌بندی هر داده به درجه خاصی از هر خوشه متعلق است و با توجه به درجه تعلق حضور یک داده به یک خوشه مشخص می‌گردد. خوشه‌بندی فازی سی-مینز (FCM) توسط جی سی دانز در سال ۱۹۷۳ آماده شدو در سال ۱۹۸۱ ارتقا داده شد. 

الگوریتم‌ خوشه‌بندی 4

خوشه‌بندی Expectation–Maximization EM با استفاده ازمدل GMM  Gaussian Mixture Models

یکی از اشکالات عمده الگوریتم K-Means استفاده ساده از مقدار متوسط برای مرکز خوشه است. با دیدن تصویر زیر می‌فهمیم که چرا این بهترین روش برای انجام کارها نیست.