نوع مقاله : مقاله پژوهشی - کاربردی

نویسندگان

1 گروه مهندسی کامپیوتر، دانشگاه آزاد اسلامی واحد رشت، گیلان، ایران

2 گروه مهندسی کامپیوتر، موسسه آموزش عالی آیندگان، تنکابن، ایران

10.22105/dmor.2021.251713.1230

چکیده

نمره‌دهی خودکار آزمون‌های تشریحی فرآیند ارزیابی اتوماتیک پاسخ‌های سوالات مبتنی بر زبان طبیعی با استفاده از روش‌های محاسباتی، داده‌کاوی و یادگیری ماشین است. گسترش استفاده از سیستم‌های آموزشی هوشمند با مقیاس بزرگ از یک سو و اهمیت ارزیابی به عنوان یک فاکتور کلیدی در فرآیند آموزش، نیاز به سیستم‌های خودکار با قابلیت انعطاف بالا برای نمره‌دهی آزمون‌ها را بیش از پیش افزایش داده است. با توجه به اینکه در فرآیند نمره‌دهی خودکار، پاسخ‌های متنی ارائه شده توسط دانش‌آموزان با یک پاسخ ایده آل بر اساس میزان شباهت آن‌ها مورد مقایسه قرار می‌گیرد، می‌توان از تکنیک‌های محاسبه ارتباط و شباهت معنایی بین متون نیز برای اینکار بهره برد. در این راستا، در این مقاله ابتدا روش‌های مختلف محاسبه ارتباط معنایی در کاربرد ارزیابی خودکار آزمون‌های تشریحی با هم مورد مقایسه قرار گرفته‌ و تاثیر دامنه و اندازه منبع دانش پیش‌زمینه‌ای روی دقت الگوریتم‌ها بررسی شد. در ادامه‌، یک رویکرد برای بهبود عملکرد سیستم نمره‌دهی خودکار آزمون‌های تشریحی معرفی شده است که از پاسخ‌های ارائه شده توسط آزمون‌دهندگان که بالاترین نمره را دریافت کرده‌اند، به عنوان بازخورد استفاده می‌کند. بر اساس نتایج حاصل از آزمایش‌ها، نه ‌تنها روش‌های محاسبه ارتباط معنایی از کارایی بالایی در حوزه ارزیابی خودکار آزمون‌های تشریحی برخوردارند، بلکه استفاده از از بازخورد اتوماتیک نیز می‌تواند دقت و کارایی روشهای محاسبه ارتباط معنایی برای این هدف به طور قابل توجهی افزایش دهد.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Automatic Assessment of Short Answers based on Computational and Data Mining Approaches

نویسندگان [English]

  • Hossein sadr 1
  • Mojdeh Nazari Soleimandarabi 1
  • Zeinab Khodaverdian 2

1 گروه مهندسی کامپیوتر، دانشگاه آزاد اسلامی واحد رشت، گیلان، ایران

2 گروه مهندسی کامپیوتر، موسسه آموزش عالی آیندگان، تنکابن، ایران

چکیده [English]

Automatic short answer grading is known as the task of automatic assessment of answers based on natural language using computation methods and machine learning algorithms. The proliferation of large-scale intelligent education systems and the importance of assessment as a key factor in the education process have increased the need for highly flexible automated systems for scoring exams.While in the process of automatic short answer grading, student's answer is compared to an ideal response and scoring is done based on their similarity, semantic relatedness and similarity measures can also be employed for this aim. To this end, several semantic relatedness and similarity measures are firstly compared in application of short answer grading. In the following, a method for improving the performance of short answer grading systems based on semantic relatedness and similarity measures which leverages students' answers with the highest score as feedback is proposed. Based on the empirical experiments not only semantic relatedness and similarity measures have great efficiency in automatic short answer grading but also using students' answers as feedback can considerably improve the accuracy and performance of semantic relatedness and similarity measures for this task.

کلیدواژه‌ها [English]

  • Data mining approaches
  • Short answer grading
  • Semantic Relatedness
  • Semantic Similarity