پیش پردازش در فرآیند متن کاوی

·      تبدیل متن به کوچک کردن حروف واژه[1]

·      حذف نقطه گذاری و علام نگارشی[2]

·      حذف واژگان پر تکرار و بی‌اهمیت[3] 

اهمیت مدل‌های متن‌کاوی

 افراد و شرکت‌ها روزانه حجم عظیمی از داده‌ها را تولید می‌کنند. آمارها نشان می‌دهد که چیزی در حدود ۸0 درصد از داده‌های متنی غیر ساخت‌یافته‌اند؛ یعنی از طریق یک روش از پیش تعیین‌شده سازمان نیافته‌اند، قابل جستجو نیستند و مدیریت آن‌ها تقریباً غیرممکن است؛ به‌عبارت‌دیگر در قالب غیر ساخته یافته این دسته داده‌ها حاوی اطلاعات مفید نیستند. سازمان‌دهی، طبقه‌بندی و استخراج اطلاعات مفید و بامعنا از داده‌های خام متنی یکی از چالش‌برانگیزترین فعالیت‌ها در سازمان‌ها و شرکت‌های تجاری است. 

روش‌های پیشرفته متن‌کاوی

در ادامه برخی از روش‌های پیشرفته تحلیل داده‌های متنی موردبررسی قرارگرفته است.

 متن دسته‌بندی[1]

دسته‌بندی متن به فرآیند برچسب‌گذاری یا اختصاص دادن یک‌چند دسته خاص به داده‌های متنی غیر ساخت‌یافته اطلاق می‌شود. دسته‌بندی متون یکی از مؤلفه‌های اساسی در پردازش زبان طبیعی[2] محسوب می‌شود و فرآیند سازمان‌دهی و ساختاربندی داده‌های متنی پیچیده را آسان می‌کند. 

روش‌ها و تکنیک‌ها متن کاوی

تاکنون روش‌ها و فن‌های متفاوتی برای متن‌کاوی توسعه داده‌شده است. در این بخش سعی شده است تا تعریف مفید و مختصری از برخی روش‌های ساده و پیشرفته در حوزه متن‌کاوی ارائه شود. 

متن‌کاوی

متن‌کاوی به داده‌کاوی بر روی متن اشاره دارد و به‌عنوان آنالیز متن نیز شناخته می‌شود. منظور از متن‌کاوی فرآیند استخراج اطلاعات باکیفیت از متن است. اطلاعات باکیفیت بالا به‌طورمعمول از فهم الگوها و گرایش‌ها از طریق معانی و به‌وسیله یادگیری الگوهای آماری حاصل می‌شود. در متن‌کاوی درگیر فرآیند ساختاردهی به ورودی‌های متنی، تجزیه همراه با افزودن برخی ویژگی‌ها تفاسیر زبانی، حذف موارد اضافی و درج موارد بعدی در پایگاه داده انجام می‌گیرد، استخراج الگوهای درون داده‌ای ساختاریافته، درنهایت ارزیابی و تفسیر خروجی‌ها است.