سال انتشار: ۱۳۸۶

محل انتشار: سیزدهمین کنفرانس سالانه انجمن کامپیوتر ایران

تعداد صفحات: ۴

نویسنده(ها):

محمد بحرانی – آزمایشگاه پردازش گفتار دانشکده مهندسی کامپیوتر دانشگاه صنعتی شریف
حسین صامتی – استادیار و عضو هیئت علمی دانشکده مهندسی کامپوتر دانشگاه صنعتی شریف
نازیلا حافظی – آزمایشگاه پردازش گفتار دانشکده مهندسی کامپیوتر دانشگاه صنعتی شریف
سعیده ممتازی – آزمایشگاه پردازش گفتار دانشکده مهندسی کامپیوتر دانشگاه صنعتی شریف

چکیده:

در این مقاله روش جدیدی برای خوشه بندی کلمات به منظور ساخت مدل زبانی n-gram برای زبان فارسی ارائه شده است کهدران مشکل پیچیدگی روش های خودکار و سرگشتگی بالای روش های دستی به حداقل رسیده است. در این روش هر کلمه با یک بردار ویژگی نمایش داده می شود که این بردار معرف امار مقوله های نحوی مربوط به آن کلمه است. سپس بردارهای حاصلبا استفاده از الگوریتم k-means خوشه بندی می شوند، پیاده سازی و آزمایش های مربوط بر روی پیکره متنی زبان فارسی که شامل حدود ۱۰ میلیون کلمه می باشد، صورت گرفته است. نتایج بیانگر کاهش ۳۴ درصدی در سرگشتگی و کاهش ۱۶ درصدی در نرخ خطای بازشناسی نسبت به روش های دستی مبتنی بر مقوله های نحوی است.