خلاصة:
هدف از این مطالعه، شناسایی آیتمهایی با عملکرد متفاوت (DIF) در آزمون مهارت زبان انگلیسی دانشگاه تهران (UTEPT) بود؛ آزمونی حساس که توسط مرکز آزمونهای زبان دانشگاه تهران طراحی و اجرا میشود. این مقاله بر اساس پاسخهای ۴۰۰ شرکتکننده در آزمون استوار است. تمامی شرکتکنندگان دارای مدرک کارشناسی ارشد در رشتههای علوم انسانی یا علوم و مهندسی بودند. برای دستیابی به هدف این مطالعه، شرکتکنندگان به دو گروه مساوی تقسیم شدند. نتایج روش تعمیمیافته Mantel-Haenszel نشان داد که از میان ۱۰۰ آیتم، ۱۲ آیتم دارای DIF بودند. همچنین روش رگرسیون لجستیک ۱۴ آیتم را به عنوان دارای DIF شناسایی کرد. با این وجود، آزمون اندازه اثر مرتبط با رگرسیون لجستیک نشان داد که هیچیک از این اندازههای اثر، طبق دستورالعملهای پیشنهادی Zumbo و Thomas (۱۹۹۷) و Jodoin و Gierl (۲۰۰۱)، بزرگ نبودند. بنابراین، نتیجهگیری شد که UTEPT تفاوت عملکرد (DIF) معناداری در رشتههای تحصیلی نشان نمیدهد و نسبت به هر دو گروه علوم انسانی و علوم و مهندسی به یک اندازه منصفانه است.
ملخص الجهاز:
بنابراین، نتیجه گرفته شد که UTEPT عدم عملکرد متمایز (DIF) قابل توجهی در رشته های تحصیلی نشان نمی دهد و نسبت به هر دو گروه علوم انسانی و علوم و مهندسی به طور یکسان منصفانه است.
DIF مدل Mantel-Haenszel (MH) نقش مهمی در ارزیابی مناسب بودن فرم های آزمونی ایفا می کند که برای اجرا برای آزمون دهندگان از جمعیت هایی در نظر گرفته شده است که شامل زیر جمعیت های مجزای قابل شناسایی هستند، مانند گرو های قومی، مردان و زنان، یا گرو های قابل شناسایی از نظر اجتماعی-جمعیت شناختی یا جغرافیایی (Longford, Holland, & Thayer, 1993).
این یک رویکرد ناپارامتری برای شناسایی DIF است که آزمون دهندگان از دو گروه مختلف را به طور صریح بر اساس توانایی مورد مورد نظر قرار می دهد، و سپس احتمال موفقیت در سوال را برای دو گروه در طول مقیاس نمره مقایسه می کند.
به طور مشخص تر، این مطالعه از آماره های GMH و LR برای ارزیابی عملکرد آزمون دهندگان در گرو های زبانی علوم انسانی و علوم و مهندسی در آزمون، پس از آنکه بر اساس توانایی زبان انگلیسی (مطابق با تعریف این مطالعه) با هم تطبیق داده شدند، استفاده می کند.
با این حال، از آنجایی که هیچ آزمون بزرگی (یعنی اندازه اثر DIF) مرتبط با GMH-DIF وجود ندارد، ما نمی توانیم بر اساس یافته های GMH خود با اطمینان ادعا کنیم که UTEPT برای گروههای علوم انسانی و علوم و مهندسی به طور متفاوت عمل می کند.
(
, 
, 
)
