Abstract:
فرایند سنجش و پذیرش افراد توانمند و کارآمد برای تحصیل در دورۀ دکترای تخصصی در ایران بسیار پر چالش بوده است. اهمیت این مسئله به حدی است که ویژگیهای روانسنجی سنجههای پذیرش و ملاکهای مهم آن، همچنین شیوۀ آزمونگیری به صورت تستی یا تشریحی برای تدوین الگوی بهینۀ پذیرش داوطلبان همواره در بین مجامع دانشگاهی، سیاستگذاران، و متقاضیان ورود به تحصیلات تکمیلی محل بحث و جدال است. هدف اولیۀ این پژوهش مشخص کردن ضرایب شبه پایایی این معیارها بوده است. روش این پژوهش از نوع توصیفی است، و در چارچوب تئوری تعمیمپذیری، پایایی سنجهها و معیارهای-دادههای ثانویه-مربوط به برنامۀ سنجش و پذیرش دکتری رشتۀ مهندسی برق گرایش قدرت در 37 دانشکدۀ پذیرندۀ دکتری در دانشگاههای ملی مختلف در سال 1397 را بررسی کرده است. دادهها با نرمافزار mGENOVA بر اساس تحلیل چند متغیری با یک طرح تک رویهای p^•×i^° تحلیل شدهاند. نتایج نشان داد که چهار آزمون تخصصی، و دو آزمون عمومی به دلیل سختی سؤالات و بیپاسخ بودن، و بهکارگیری نمرهگذاری فرمولی، پایایی و دقت مناسبی ندارند. دو معیار ترکیبی مصاحبه که از سنجههای متفاوتی تشکیل شدهاند، از ضرایب تعمیمپذیری و اعتمادپذیری بهتری برخوردار بودند. افزودن معدل کارشناسی و کارشناسی ارشد، به عنوان متغیر پیشبینیکنندۀ جداگانه، به دلیل محدودیت دامنه در برآورد نمرات جهانی ترکیبی کارایی چندانی ندارد. در یک برنامۀ پذیرش دکتری که سازۀ زیربناییای بسیار گستردهای تعریف، و سنجههای چندگانهای استفاده میشود، مؤلفههای خطای بیشتری نیز وجود خواهد داشت. بنابراین، نمیتوان تنها یک مقدار پایایی معین برای سنجههای آن مشخص کرد. امّا با تعدیل سطوح دشواری آزمونها، استفاده از طرحهای نمرهگذاری سهمی سؤالات بدون جریمه حدس شانسی، نمونهگیری کاملتر از سازۀ زیربنایی و افزایش لایههای سطوح میتوان تصمیمگیریهای آموزشی با ریسک بالا را برای طبقهبندی افراد، با پیشبینیهای نادرست کمتری انجام داد.
The assessment process for the admission of qualified candidates applying for
doctoral programs in Iran has always been a challenging issue, leading to debates
among academic communities about the psychometric properties of the
admission criteria. Using the generalizability theory as the framework, this study
investigated the reliability-like coefficients of the secondary data measures and
the criteria related to the Ph.D. admission program at 37 departments admitting
Electrical Power Engineering candidates at the Ph.D. level in different state
universities in 2018. Data were analyzed using mGENOVA software with onefacet
𝑝• × 𝑖°design. The results suggested that due to the high difficulty of items,
omitted responses, and using scoring formula, four Subject Test Batteries (STB)
and two General Test Batteries (GTB) did not have adequate generalizability and
dependability coefficients. Two interview scores, which included different
measures, showed better coefficients. However, little predictive value was found
for the candidates’ undergraduate grade-point average (UGPA) and graduate
grade-point average (GGPA) due to their restricted range. Indeed, broadly
defining the underlying construct and including multiple measures in the
assessment design for doctoral programs leads to more error components in the
results. Therefore, it is not possible to determine an exclusive reliability index for
the predictive measures involved in the test. However, high-stakes educational
decisions for the classification of applicants may be accomplished with fewer
false predictions by adjusting test difficulty, using partial scoring schemes
without correction for guessing, specifying the underlying construct more
thoroughly, and increasing the levels of the facets.