چکیده:
هدف: هدف این پژوهش شناخت نقش سطح خوانایی مدرک و پیچیدگی عینی وظیفۀ جستجو بر قضاوت ربط دانشجویان از مدارک است.روش: پژوهش حاضر کاربردی است و از تحلیل محتوای کمی به منظور تعیین سطح خوانایی متون استفاده شده است. جامعه آماری پژوهش، شامل کلیه دانشجویان تحصیلات تکمیلی حوزۀ علوم انسانی دانشگاه شیراز بود. برای تعیین حجم نمونه با توجه به زمانبر بودن فرایند قضاوت ربط مدارک و محدودیت وقت آزمودنیها و حجم نمونه در سایر مطالعات رفتار اطلاعجویی، از روش نمونهگیری غیراحتمالی از نوع داوطلبانه به تعداد 60 نفر استفاده شد. برای تعیین پیچیدگی عینی، دو وظیفه کاری براساس چارچوب طراحی وظیفه کاری بورلند (2000)، مخزن وظیفه جستجو و نظرات متخصصان طراحی شد. پس از تایید روایی وظایف کاری توسط متخصصان، با جستجو در پایگاههای مقالات فارسی شامل مرکز اطلاعات علمی جهاد دانشگاهی، مگایران و نورمگز، 4 مقاله مرتبط، 4 مقاله تا حدی مرتبط و 2 مقاله نامرتبط از نظر میزان ربط توسط 5 نفر از متخصصان انتخاب شدند. همچنین با تعیین سطح خوانایی این مقالات با استفاده از فرمول خوانایی فلش-دیانی، مقالات در دو سطح دشوار و خیلیدشوار دستهبندی شدند. در مرحله بعد10 مقاله مربوط به دو وظیفه کاری توسط کاربران در طیف ششدرجهای (از کاملا نامرتبط تا کاملا مرتبط) نمرهدهی و در مرحلۀ بعد براساس درجه ربط رتبهبندی شدند(رتبه 1 تا 10). دادهها با نرمافزار آماری علوم اجتماعی نسخه 23 (SPSS) تحلیل و برای پاسخ به پرسشها از آزمونهای تیتست و یو منویتنی استفاده شد.یافتهها: نتایج پژوهش پیرامون نقش سطح خوانایی بر قضاوت ربط نشان داد؛ بین قضاوت ربط دانشجویان از مدارک دارای سطح خوانایی مختلف تفاوت معنیداری وجود داشت و دانشجویان مدارک با سطح خوانایی دشوار زا نسبت به مدارک با سطح خوانایی خیلیدشوار مرتبطتر ارزیابی کردند. همچنین پیرامون نقش سطح خوانایی بر رتبهبندی، بین رتبهبندی ربط در مدارک با سطوح خوانایی مختلف از نظر دانشجویان تفاوت معنیدار بود. مدارک با سطح خوانایی دشوار به لحاظ ربط رتبۀ پایینتری کسب کردند. بنابراین، دانشجویان در رتبهبندی مدارک با سطح خوانایی دشوار بهتر عمل کردهاند. یافتهها پیرامون نقش سطح پیچیدگی وظایف کاری بر قضاوت ربط نشان داد؛ پیچیدگی عینی وظیفه کاری بر قضاوت ربط دانشجویان اثرگذار بود. مدارک بازیابی شده مربوط به وظیفۀ کاری ساده نسبت به وظیفه کاری پیچیده مرتبطتر تشخیص داده شد. همچنین پیرامون نقش سطح پیچیدگی وظایف کاری بر رتبهبندی مقالات یافتهها نشان داد؛ سطح پیچیدگی عینی وظیفه کاری بر رتبهبندی مدارک اثرگذار بود و وظیفه کاری ساده به لحاظ رتبهبندی ربط رتبۀ پایینتری کسب کرد. بنابراین، دانشجویان در وظیفۀ کاری ساده نسبت به وظیفه کاری پیچیده از نظر رتبهبندی ربط بهتر عمل کردند.نتیجهگیری: با توجه به یافتههای پژوهش نتیجهگیری میشود که نقش سطح خونایی مدارک و پیچیدگی عینی وظیفه بر قضاوت ربط و رتبهبندی مدارک اثرگذار بود. بنابراین، بررسی اثر این شاخصها در حوزۀ قضاوت ربط به عنوان بخش مهمی از فرایند رفتار اطلاعیابی، میتواند در بهبود طراحی سامانههای بازیابی اطلاعات و افزایش کیفیت طراحی الگوریتمهای ربط و رتبهبندی مؤثر باشد.
Purpose: The research purpose is to identify the role of document readability level and the objective complexity of the search task on students' relevance judgment of documents.Methods: The research is of an applied type and quantitative content analysis was utilized to determine the readability level of texts. The statistical population of the research included all graduate students of Shiraz University of Humanities. To determine the sample size, due to the time-consuming process of relevance judgment of the documents and the constrained time of the subjects, and the sample size in other studies of information-seeking behavior, a non-probability sampling method of voluntary type was used by a number of 60. To determine the objective complexity, two work tasks were designed based on Borland's (2000) Repository of Assigned Search Tasks, and experts' opinions. Subsequent to confirming the validity of the work tasks by the experts, searching through the Persian article databases including SID, Magiran, and Noormags, 4 relevant, 4 partially relevant, and 2 irrelevant articles were selected by 5 experts. Moreover, determining the readability level of these articles using the Flash-Diani readability formula, articles were categorized into two difficult and very difficult levels. Next step, 10 articles related to two work tasks were scored by users in a six-level spectrum (from entirely irrelevant to entirely relevant) and in the next step, ranked based on the relevance degree (from 1 to 10)..Findings: The results of the research on the role of readability level on the judgment of relevance illustrated that there was a significant difference between students' relevance judgment of documents with different readability levels, and Students rated documents with difficult readability levels more relevant than documents with very difficult readability levels. In addition, considering the role of readability level on the ranking, there was a significant difference between the rankings of relevance in the documents with different readability levels according to the students. Documents with difficult readability levels were ranked lower in terms of relevance. Therefore, students performed finer on rating documents with difficult readability levels. The findings about the role of the complexity level of work tasks on the relevance judgment demonstrated that the objective complexity of the work task had an effect on the students' relevance judgment. The retrieved documents related to the simple work task were found to be more relevant than the complex work task. Besides, regarding the role of the complexity level of work tasks on the ranking of articles; findings exhibited the level of objective complexity of the work task had an effect on the ranking of documents, and the simple work task ranked lower in terms of relevance ranking. Therefore, students performed finer on the simple work task than on the complex work task in terms of relevance rating.Conclusion: According to the findings of the research, it is concluded that the role of the level of readability of the documents and the objective complexity of the task had an effect on the relevance judgment, and ranking of the documents. Therefore, investigating the effect of these indicators in the field of relevance judgment as an important part of the information-seeking behavior process can be effective in improving the design of information retrieval systems and increasing the quality of the design of relevance and ranking algorithms.
خلاصه ماشینی:
سطح خوانایی مدرک و پیچیدگی عینی وظایف کاری: آیا در قضاوت ربط و رتبه بندی تأثیر دارد؟ مطالعات کتابداری و سازماندهی اطلاعات ، ٣٣(٤): ٥٥-٦٩ :Doi 10.
در سال های اخیر، پژوهش های متعددی دربارة خوانایی و پیچیدگی وظایف کاری ارائه شده است که گرچه برخی فقط به سنجش خوانایی متون مختلف توجه داشته اند (افشار اردکانی و همکاران ، ١٣٩٩؛ عبداللهی گیلانی، ١٤٠١) اما عده ای دیگر فراتر رفته و با روش های ترکیبی، فنون پردازش زبان طبیعی و مدل های آماری و مهندسی خوانایی و به کارگیری آن در ربط و رتبه بندی نتایج را بررسی کرده اند (٢٠٢١ ,.
در ایران نتایج پژوهش سعیدیزاده و همکاران (١٣٩٥) نشان دادند که تعامل دانشجویان با نظام های بازیابی اطلاعات برحسب نوع محصول و سطح پیچیدگی عینی وظیفۀ کاری متفاوت است ؛ به گونه ای که با افزایش سطح پیچیدگی عینی، کاربران با مراجعۀ بیشتر به منابع پرس وجو و بررسی بیشتر درنهایت زمان بیشتری را صرف میکنند.
Sánchez & Kalamakis پیش رو نقش خوانایی مدرک و پیچیدگی وظیفۀ کاری در قضاوت ربط و رتبه بندی نتایج بازیابیشده از دیدگاه دانشجویان را بررسی کرده است .
نتیجه گیری هدف اصلی این پژوهش بررسی نقش سطح خوانایی مدارک و پیچیدگی عینی وظایف کاری در قضاوت ربط و رتبه بندی آن ها از دیدگاه دانشجویان بود.
Domain-specific readability measures to improve information retrieval in the Persian language.
The feasibility of determining the basic concept with the aim of improving information retrieval in specialized fields in Persian language: a case study of computer science.
Investigating the effect of the level of complexity of work tasks on browsing search performance of users in interaction with the web.