چکیده:
این پژوهش با هدف بررسی تأثیر ادغام سهمیهبندی در برآورد توانایی (پیش از رتبه بندی) و نیز رتبهبندی آزمودنیها در آزمونهای بزرگ مقیاس (مثل کنکور سراسری) انجام شد. طرح این پژوهش در زمرۀ طرحهای پیمایشی است. به دلیل این که هدف این پژوهش تحلیل دادههایی است که قبلاً طی یک طرح پیشین توسط سازمان سنجش جمعآوری شدهاند، این طرح را میتوان در زمرۀ تحلیل ثانویه دادهها نیز در نظر گرفت. جامعه آماری این طرح شامل تمام داوطلبان گروه ریاضی است که در آزمون سراسری سال 1394-1393 شرکت نمودهاند. نمونه مورد استفاده در این پژوهش شامل دادههای مربوط به 3000 آزمودنی گروه ریاضی از مناطق (سهمیه) یک، دو و سه است که از طرف سازمان سنجش در اختیار پژوهشگران قرار گرفته است. دادههای اصلی مورد استفاده در این پژوهش عبارتست از پاسخهای نمرهگذاری شده آزمودنیها به سؤالات آزمون (به صورت 1 برای پاسخ صحیح و 0 برای پاسخ غلط) و کد مربوط به سهمیه انتخابی. به طور خلاصه، میتوان چنین نتیجهگیری کرد که تفاوت بین مناطق سهگانه و یا هر نوع خوشهبندی در دادهها هنگامی در نتایج تأثیر دارد که تحلیل در سطح کل نمونه و ورای خوشهها صورت میگیرد. در چنین وضعیتی، امکان مشاهده تفاوت معنادار بین رتبهدهی با استفاده از روشهای متفاوت، حتی زمانی که مقدار ICC بسیار پایین باشد (مانند تحلیل حاضر)، وجود دارد.
The aim of this study was to investigate the effect of geographical clustering on the estimation of ability parameter (before ranking) as well as the ranking of examinees in large-scale tests (such as national university entrance examination). The design of this study can be considered as survey and because of analyzing the data previously collected by the National Organization Educational Testing (NOET), this project can also be considered as a secondary data analysis. The statistical population of this project includes all the candidates of the Mathematics group who have participated in the national exam of 2013-2014. The sample used in this study includes data on 3,000 examinees in the mathematics group from regions (quota) one, two and three, that have been provided to researchers by the NOET. The main data used in this study are the examinees’ scored responses to test items (1 for a correct answer and 0 for an incorrect answer) and the code related to the selected quota. In summary, it can be concluded that differences between the three regions, or any type of clustering, is considerable when the level of analysis is the overall sample and beyond clusters. In such a situation, it is possible to observe a significant difference between rankings using different methods, even when the value of intra-class correlation (ICC) is very low (like this study).
خلاصه ماشینی:
Ganzeboom, Treiman and Ultee 3.
در اين چارچوب ، مدل اندازه گيري رابطۀ بين توانايي و داده هاي حاصل از پاسخ آزمودني را مدنظر قرار ميدهد و مدل چندسطحي ساختاري هم ساختار سلسله مراتبي افراد در جامعه مورد پژوهش را در تحليل وارد ميکند (فاکس ،٧ ٢٠١٠؛ يونسي و همکاران ، ١٣٩٣).
Zimowski, Muraki, Mislevy and Bock 3.
ميانگين توانايي و فاصله اطمينان ٩٥% (دايره = زن ، مربع = مرد) يافته هاي فاز دوم : مطالعه شبيه سازي از آنجا که هدف اين تحقيق بررسي تأثير ساختار سلسله مراتبي داده ها بر توزيع پارامتر توانايي و رتبه آزمودنيها است ، مقايسه بين حالتي که ساختار سلسله مراتبي در نظر گرفته ميشود و حالتي که در نظر گرفته نميشود نيازمند مبنايي براي مقايسه است .
خلاصه نتايج تحليل IRT سؤالات شبيه سازي شده (به تصویر صفحه رجوع شود) جدول ٦ حاوي ويژگيهاي توزيع پارامتر توانايي براساس داده هاي حقيقي توليد شده ، برآورد توانايي با در نظر گرفتن ساختار سلسله مراتبي داده ها و برآورد توانايي بدون در نظر گرفتن ساختار سلسله مراتبي داده ها براي مناطق سه گانه و در کل نمونه است .
ويژگيهاي توزيع رتبه (به تصویر صفحه رجوع شود) تحليل داده ها براساس نتايج شبيه سازي شايان ذکر است که به دليل در اختيار قرار دادن تنها بخشي از داده هاي آزمون توسط سازمان سنجش ، تمامي رتبه ها در فايل داده موجود نبود، لذا از رتبه مشاهده شده افراد در فايل داده ها براي اين تحليل استفاده شد.
Herman, Klein, & Abedi 2.