چکیده:
سنجش انطباقی کامپیوتری (CAT) شیوهای از سنجش توانایی است که دقت برآورد توانایی را افزایش میدهد و بدون از دست دادن دقت اندازهگیری آزمون، طول آن را کاهش میدهد. با این وجود، سنجش انطباقی در صورتی خوب عمل میکند که، دارای خزانه سؤالی باشد که در آن تعداد کافی سؤال با کیفیت مناسب وجود داشته باشد. بسیاری از محققان خاطر نشان کردند که، برای ساخت خزانه سؤالی برای (CAT)، نه تنها اندازه خزانه سؤال مهم است، بلکه توزیع پارامترهای سؤالهای خزانه نیز از اهمیت بهسزایی برخوردار است. با اینوجود، تحقیقات اندکی در مورد اینکه چگونه این ویژگیهای مطلوب تعیین میشود، وجود دارد. هدف اصلی این پژوهش، تلفیق ایده“bin-and-union” برگرفته از رویکرد ریکیسی (2003)، که یک روش شبیهسازی مونتکارلو برای تعیین ویژگیهای خزانه سؤال است، با رویکرد برنامهنویسی ریاضی بوده است. در این پژوهش این روش برای ساخت یک خزانه سؤال بهینه برای آزمون سنجش انطباقی ریاضی بهکار رفته است. خزانه سؤال پژوهش حاضر بر اساس مدل سه پارامتری مدرج شده است، و روش سیمپسون-هتر برای کنترل مواجهه سؤال به کار رفته است. این طرح شامل برآوردهایی از اندازه مطلوب خزانه سؤال و توزیع مطلوب پارامترهای سؤالها و ویژگیهای غیر آماری آن بوده است. فرآیند طراحی این خزانه شامل تعیین مجموعهای از ویژگیهای مطلوب خزانه سؤال، با درنظر گرفتن چندین عامل مهمی که ممکن بود بر نتایج مورد نظر طراحی یک خزانه سؤال اثر گذارد، بوده است. عملکرد خزانههای سؤال شبیهسازی شده و عملیاتی با در نظر گرفتن مجموعهای از ملاکهای ارزیابی، با یکدیگر مورد مقایسه قرار گرفتهاند. نتایج ارزیابی نشان داد که، مکانیزم به کار رفته برای تعیین ویژگیهای مطلوب خزانه سؤال بهخوبی عمل میکند و برای تعیین ویژگی های مطلوب خزانه سؤال مناسب است.
Computerized adaptive testing (CAT) is a testing procedure that can result in improved precision for a specified test length or reduced test length with no loss of precision. But، for computerized adaptive tests (CATs) to work well، they must have an item pool with sufficient numbers of good quality items. Many researchers have pointed out that، in developing item pool for CATs، not only is the item pool size is important، but also the distribution of item parameters. Yet، there is little research on how to identify those desirable features. This paper applied and extended the basic idea of the “bin-and-union” method proposed by Reckase (2003)،- which is a Monte Carlo method to determine the properties of an optimal item pool-، and mathematical programming method to develop the optimal item pool for a mathematic operational CAT. This study extended the method for designing item pools calibrated with the three-parameter logistic model and applied it to situations where the Sympson-Hetter procedure is used to control the item exposure rate. The designs include estimates of desired item pool size and item parameter distribution. The design process includes identifying a series of candidate item pool features by taking into consideration multiple factors that may affect the desired features of the item pool. The performance of the simulated item pools has been compared with operational item pool by considering some evaluation criteria. The result of evaluation indicated that the mechanism used to identify the desirable item pool features has functioned well and appropriate for identifying a desirable item pool features of mathematic operational CAT.
خلاصه ماشینی:
واژگان کلیدی: خزانه سؤال بهینه ، سنجش انطباقی کامپیوتری، رویکرد ریکیسی، رویکرد برنامه نویسی ریاضی، مدل حداقل انحرافات وزن دار (WDM) مقدمه کیفیت خزانه سؤال ، به عنوان یک عامل مهم برای افزایش کیفیت اندازه گیری در سنجش انطباقی کامپیوتری (CAT)، در نظر گرفته شده است (فلاگر١، ٢٠٠٠؛ جنسما٢، ١٩٧٧؛ مک برید و وایس ٣، ١٩٧٦؛ ریکیسی ٤، ١٩٧٦؛ ٢٠٠٣؛ وندرلیندن ، ادلاید و ولدکمپ ، 5 ٢٠٠٦؛ ولدکمپ و وندرلیندن ، ٢٠٠٠؛ اکسینگ و همبلتون ٦، ٢٠٠٤).
ادبیات پژوهشی متعدد در مورد طراحی خزانه های سؤال بهینه ، هر یک از این رویکردها را به صورت مجزا به کار برده اند، حال اگر روشی ایجاد شود که از مزایای هر دو رویکرد به طور همزمان استفاده کند، میتواند هم از طریق کمی سازی ویژگیهای آماری و غیر آماری به عنوان قیود تست که از مزایای روش برنامه نویسی ریاضی است و هم از تمام مزایای رویکرد ریکیسی استفاده کند و خزانه ای بهینه ایجاد کند.
تلفیق روش ریکیسی (٢٠٠٣) با رویکرد برنامه نویسی خطی حداقل انحرافات وزن دار، برای طراحی خزانه های سؤال بهینه مدرج شده با مدل سه پارامتری لجستیک به کار رفته است .
تست های عملیاتی برای هر آزمودنی، شامل ٦٠ سؤال توانایی ریاضی است و ازلحاظ محتوایی و ویژگیهای آماری به عنوان مبنای طراحی خزانه سؤال بهینه در این پژوهش در نظر گرفته شده اند.
در این پژوهش از روش برنامه نویسی خطی حداقل انحرافات وزن دار برای تعیین محتواها و ایجاد تعادل محتوایی در خزانه های سؤال استفاده شده است .
Designing ortimal item rools for comruterized adartive tests with Symrson-Hetter exrosure control.