چکیده:
هدف: یکی از ویژگیهای آزمون لنگر که از مؤلفههای مهم همترازسازی است، همبستگی آن با آزمون کل است. در این مرور سیستماتیک، اثر این ویژگی بر فرایند همترازسازی و عوامل مؤثر بر آن بررسی گردید.
روش پژوهش: یک مرور سیستماتیک بر اساس اطلاعات موجود در پایگاههای داده PubMed، Medline، ERIC، JSTOR و Wiley، وبسایتهای SAGE، ETS، ACADEMIA و نیز بررسی منابع مندرج در برخی مقالههای مهم اجرا شد. جستجو در بازه زمانی 1950 تا 2022 تنها برای منابع انگلیسی صورت پذیرفت. اصطلاحات جستجو شامل همترازسازی، لنگر و همبستگی بود که با ترکیب آنها، راهبردهای جستجو به دست آمد.
یافتهها: با توجه به ملاکهای ورود، 18 مطالعه از 167 منبع جستجو شده، برای بررسی به این مرور راه یافتند. کیفیت این پژوهشها با استفاده از ابزار سنجش کیفیت مطالعهها با طرحهای مختلف (QATSDD) مورد ارزیابی قرار گرفت. نتایج مطالعه نشان داد که طول آزمون، پایایی آزمون، نوع لنگر از نظر ویژگیهای آماری، ساختار محتوایی آزمون لنگر و تفاوت در توانایی گروهها، عواملی هستند که بر همبستگی آزمون لنگر و آزمون کل مؤثر است. علاوه بر این، نتایج حاکی از آن بود که با افزایش این همبستگی، کیفیت و دقت برآورد پارامترها در فرایند همترازسازی بهبود مییابد و از خطای استاندارد همترازسازی کاسته میشود.
نتیجهگیری: به دلیل اهمیت همبستگی میان آزمون لنگر و آزمون کل، لازم است مقدار این همبستگی و عوامل مؤثر بر آن در مراحل ساخت آزمون و قبل از اجرای تحلیلهای مرتبط با همترازسازی بهدقت بررسی و تحلیل شود تا از بروز خطای همترازسازی و سوگیری در نتایج کاسته شود.
Objective: One of the features of the anchor test, which can affect the equating process, is its correlation with the total test. This systematic review addressed the effects of this feature on the equating process and the factors affecting it. Methods: To this end, the terms equating, anchor, correlation, and a combination of them were searched on PubMed, Medline, ERIC, JSTOR, and Wiley databases, SAGE, ETS, and ACADEMIA websites, and references of some important articles. The search was restricted to English sources from 1950 to 2022. Results: Based on the inclusion criteria, 18 out of the 167 extracted documents were selected for further analysis. The quality of documents was measured using the Quality Assessment Tool for Studies with Diverse Designs (QATSDD). The results showed that the test length, test reliability, statistical characteristics of the anchor, the content structure of the anchor test, and differences in the ability of examinee groups were the most important factors affecting the correlation between the anchor test and the total test. The results also demonstrated that the increased correlation between these two tests improved the quality and accuracy of parameter estimation in the equating process and reduced the standard error of equating. Conclusion: Considering the importance of the correlation between the anchor test and the total test, it is necessary to carefully examine and analyze the value of this correlation and the factors affecting it in the test development process before equating related analysis to minimize errors and biased results.
خلاصه ماشینی:
سؤالي که مطرح مي شود اين است که همبستگي آزمون لنگر و آزمون کل چه تأثيري بر فرايند همترازسازي دارد؟ تاکنون هيچ پژوهشي به طور سيستماتيک بر اساس مطالعه هاي موجود براي پاسخ به اين سؤال انجام نشده است .
با توجه به دانش موجود در زمينۀ ويژگي هاي آزمون لنگر، اين مطالعه به منظور انجام يک مرور سيستماتيک براي بررسي اثر همبستگي آزمون لنگر با آزمون کل بر نتايج همترازسازي طراحي شد.
نتايج پژوهش سو و همکاران (٢٠٠٩) در ارزيابي عملکرد روش هاي مختلف همترازسازي نشان داد که افزايش تفاوت بين توانايي آزمودني ها در دو فرم به کاهش همبستگي آزمون لنگر و آزمون کل منجر مي شود.
بحث اين مقاله ، اولين مطالعه در حوزه سنجش به ويژه موضوع همترازسازي است که از روش هاي مرور سيستماتيک براي پرداختن به سؤال هاي پژوهش جهت بررسي اثر همبستگي آزمون لنگر و آزمون کل بر نتايج همترازسازي تحت طرح گروه هاي نامعادل با آزمون لنگر استفاده نمود.
The effects of reducing correlation of external anchors on test equating methods for the equivalent groups and non-equivalent groups designs.
Linking composite scores: Effects of anchor test length and content representativeness (Research Report No. RR-16-36).
The effects of different types of anchor tests on observed score equating.
Test score equating using a mini-version anchor and a midi anchor: A case study using SAT data.
The Impact of anchor test length on equating results in a nonequivalent groups design.
Local observed-score equating with anchor-test designs.