پیش پردازش در فرآیند متن کاوی

·      تبدیل متن به کوچک کردن حروف واژه[1]

·      حذف نقطه گذاری و علام نگارشی[2]

·      حذف واژگان پر تکرار و بی‌اهمیت[3]  

·      استاندارد سازی متن[4]

هدف این ابزار، تمیز و مرتب کردن متن و یکسان‌سازی کاراکترها با جایگزین کردن کاراکترهای استاندارد در متن ورودی است.

·      حذف صرف فعل[5]

هدف الگوریتم‌های ریشه‌یابی، حذف وندهای کلمات یا پیشوند و پسوندها و تعیین ریشه اصلی کلمه، براساس قواعد ساخت واژه‌ای ریخت‌شناسی، هستند.

·      تبدیل جمع به مفرد[6]

·      جداسازی واژگان و جملات در متن[7]

·      محاسبه فراوانی لغات

·      ساخت ابر واژگان

---

[1] Lowercase

[2] Punctuation

[3] Stop word

[4] Text standardization

[5] Stemming

[6] Lemmatizing

[7] Tokenization