Abstract:
هدف: منصفانه بودن سوالهای آزمونهای سراسری بنا به اذعان بسیاری از متخصصان همواره حائز اهمیت است. از آنجا که تعیین سوالهای دارای کارکرد افتراقی میتواند گامی مهم در جهت منصفانه بودن آزمونهای سرنوشتساز باشد، بنابراین در پژوهش حاضر، کارکرد افتراقی سوالهای ریاضی بخش حساب دیفرانسیل و انتگرال آزمون سراسری ورودی دانشگاههای کشور در میان داوطلبان دختر و پسر با استفاده از آزمون والد تحت مدل تشخیصی شناختی دینا موردمطالعه قرار گرفت.
روش: این پژوهش توصیفی از نوع تحلیل ثانویه در چارچوب مدلیابی تشخیصی شناختی است. نمونه شامل 5000 نفر از داوطلبان کنکور سال 1397 است که از میان 144437 نفر شرکتکننده در گروه آزمایشی ریاضی و فیزیک به روش نمونهگیری تصادفی انتخاب شدند. بعد از شناسایی و تعیین مهارتهای زیربنایی هر یک از سوالها با کمک متخصصین، شاخصهای برازش مدل و پارامترهای سوالها بر مبنای مدل غیرجبرانی دینا تحلیل شد. یافتهها نشاندهنده برازش مناسب مدل با دادهها بود. بهمنظور بررسی کارکرد افتراقی سوال از آزمون والد استفاده شد.
یافتهها: نتایج نشان داد که از 23 سوال آزمون، 5 سوال دارای کارکرد افتراقی است. همه سوالهای دارای کارکرد افتراقی از نوع کارکرد افتراقی یکنواخت بوده و به نفع داوطلبان پسر عمل میکنند. همچنین 4 سوال از این 5 سوال دارای اندازه DIF با شدت کم و 1 سوال دارای اندازه DIF با شدت زیاد شناسایی شدند.
نتیجهگیری: نتایج پژوهش حاضر میتواند اطلاعات سودمندی برای طراحان سوال و سازندگان آزمون سراسری از نظر تاثیر جنسیت بر عملکرد داوطلبان بهدست دهد تا با شناسایی، اصلاح و یا حذف این سوالهای آزمون از منصفانه بودن و روایی آزمون نسبت به کاربرد آن اطمینان حاصل شود.
Objective: Many experts have emphasized the importance of National Entrance Examination item fairness. As the detection of differential item functioning (DIF) items may contribute to the fairness of high-stakes tests, the present study investigated the DIF of the Differential and Integral Calculus items on an Iranian National University Entrance Examination (INUEE) among male and female candidates under Cognitive Diagnostic DINA Model using the Wald test. Method: This study was a secondary analysis based on cognitive diagnostic modeling (CDM). The sample included 5000 candidates of the 2018 University Entrance Examination who were selected using random sampling from among 144,437 participants in the Mathematics and Physics Category. Once the required underlying attributes of each item were identified and specified with the help of experts, the goodness-of-fit indices and item parameters were analyzed based on noncompensatory DINA Model. Results: The results showed good fit of the model to the data. Besides, the results of the Wald test indicated that 5 out of 23 items were flagged as DIF, whereas all of them had uniform DIF and in favor of male candidates. In addition, 4 items had a small DIF size and 1 item exhibited a large DIF size. Conclusion: The results of this study can provide Nationwide Examination item developers with beneficial information concerning the effects of gender on the performance of candidates, in order to ensure the fairness and validity of tests by detecting, modifying, or eliminating certain items.
Machine summary:
در زمينه کارکرد افتراقي سؤال با رويکردهاي کلاسيک روان سنجي يعني نظريه کلاسيک اندازه گيري و نظريه سؤال پاسخ (IRT)١ نيز مطالعات متعددي صورت گرفته است که از آن جمله ميتوان به پژوهش هاي رضايي و شعباني (١٣٨٨)، گرامي پور (١٣٩٠، ١٣٩٣)، آسيابي (١٣٩١)، گرامي پور و همکاران (١٣٩٥، ١٣٩٦)، استاجي (١٣٩٧)، براتي و احمدي (٢٠١٠)، کرمي (٢٠١١) و اميريان ، علوي و فيدالگو (٢٠١٤) اشاره کرد.
فلاحي سرشت (١٣٩٤) نيز کارکرد افتراقي سؤال هاي استعداد تحصيلي آزمون دکتري سال ١٣٩٣ در دو گروه علوم انساني و فني مهندسي را با کاربرد نظريه IRT و روش رگرسيون لوجستيک موردمطالعه قرار داده است .
(رجوع شود به تصویر صفحه) پرسش اول : آيا در چارچوب سنجش تشخيصي شناختي و با استفاده از آزمون والد سؤال هاي حساب ديفرانسيل و انتگرال آزمون سراسري ورودي دانشگاه سال ١٣٩٧ در ميان داوطلبان دختر و پسر کارکرد افتراقي دارند؟ پس از بررسي برازش داده ها با مدل دينا، براي شناسايي سؤال هاي داراي کارکرد افتراقي از آزمون والد استفاده گرديد.
پرسش سوم : نوع DIF سؤال هايي که در درس حساب ديفرانسيل و انتگرال آزمون سراسري ورودي دانشگاه سال ١٣٩٧ داراي کارکرد افتراقي هستند، به چه صورت است ؟ بررسي مقدار تفاوت ميان پارامترهاي حدس و لغزش دو گروه در جدول ٥ براي تعيين يکنواخت و غيريکنواخت بودن سؤال هاي داراي کارکرد افتراقي نيز نشان داد که همه سؤال هاي داراي کارکرد افتراقي از نوع يکنواخت بودند.
“Differential item functioning assessment in cognitive diagnosis modeling: Applying Wald test to investigate DIF for DINA model”.