۱۰۰
انحراف استاندارد
۰۰۹۷۳/۰
خطای استاندارد نسبی
۰۰۷۸۲/۰
خطای استاندارد مطلق
۰۰۹۱۴/۰
ضریب تعمیم پذیری نسبی
۶۱/۰
ضریب تعمیم پذیری مطلق
۵۳/۰
نتایج مطالعه G ارائه شده در جدول ۴-۱۶ نشان میدهد، هر دو واریانس خطای نسبی و مطلق در مجموع، ۸۷/۶۰% از واریانس کل را به خود اختصاص دادهاند. همچنین، ضرایب تعمیمپذیری به دست آمده برای اندازه گیری نسبی و مطلق، کمتر از ۷۰/۰ است و حاکی از عدم اعتبار نمرهگذاری مصححان است. پایین بودن ضرایب تعمیمپذیری را میتوان این گونه تبیین کرد؛ انحراف استاندارد مرتبط با رویهی تفکیکی (۰۰۹/۰) خیلی پایین است. یعنی، تفاوتهای نمرهگذاری بین مصححان خیلی کوچک است، یا به این دلیل است که بیشتر مصححان در نمرهگذاریهایشان مشابه هستند یا به دلیل خطای اندازه گیری بالا، تفاوتها ظاهر نشدهاند. علاوه بر این، عاملی که به طور منفی بر روی مقدار ضرایب تاثیر می گذارد، اندازه اثر دانش آموز است که سهم چشمگیری در واریانس خطای نسبی و مطلق دارد و منبع اصلی بیدقتی در اندازه گیری است. همچنین، عامل سوال با ۹/۲۶% سهم قابل توجهی در واریانس خطای مطلق دارد.
با تغییر تعداد سطوح رویه ها، چه تغییری در اندازه ی ضرایب تعمیمپذیری بوجود می آید؟
پاسخگویی به این سوال، مستلزم انجام مطالعه D (طرح بهینهسازی) است که برای هر طرح اندازه گیری و به دنبال مطالعه G انجام گرفته است.
در طرح اندازه گیری SGR/I با کاهش سطوح رویهی ابزاری(سوالات) به یک دوم،یک سوم و یک چهارم، اندازه ضریب تعمیمپذیری نسبی در مطالعه G (97/0) به ترتیب به ۹۳/۰، ۹۱/۰ و ۸۸/۰ میرسد و همچنین اندازه ضریب تعمیمپذیری مطلق در مطالعه G (96/0) بهترتیب به ۹۲/۰، ۸۹/۰ و ۸۶/۰ کاهش پیدا می کند. با وجود کاهش تعداد سوالات از ۷۸ به ۱۵ باز ضرایب تعمیمپذیری بالاتر از حداقل حد مطلوب پذیرفته شده(۸۰/۰) میباشند.
در طرح اندازه گیری I/SGR، اگر تعداد مصححان از ۷ به ۳ و همزمان تعداد دانش آموزان نیز از ۳۰ به ۱۵ برسد، هر دو ضرایب تعمیمپذیری با وجود کاهش در اندازه، همچنان ۹۰/۰ به بالا هستند. علاوه بر این، اگر در سطوح رویهی دانش آموزان تغییری ایجاد نشود و سطوح مصححان به دو نفر کاهش پیدا کند، اندازه ضریب تعمیمپذیری نسبی از ۹۸/۰ به ۹۴/۰ و ضریب تعمیمپذیری مطلق از ۹۷/۰ به ۹۰/۰ میرسد.
در طرح اندازه گیری R/SGI، با کاهش همزمان تعداد سطوح رویههای ابزاری به یک چهارم ، میزان ضرایب تعمیمپذیری به اندازه ۱۰/۰ کاهش مییابد. همچنین با کاهش یک سومی سطوح، ضرایب تعمیمپذیری به یک دوم مقدار فعلیشان کاهش پیدا می کنند. اگر تعداد سطوح سوالات ثابت نگه داشته شود و تعداد دانش آموزان به دو برابر افزیش یابد، ضریب تعمیمپذیری نسبی از ۶۱/۰ به ۷۵/۰ و ضریب تعمیمپذیری مطلق از ۵۳/۰ به ۶۴/۰ میرسد که همچنان پایینتر از حداقل حد مطلوب پذیرفته شده است. اگر تعداد سطوح دانش آموزان به سه برابر افزایش یابد اندازه ضریب تعمیمپذیری نسبی به حد قابل قبول میرسد ولی ضریب مطلق همچنان در سطح نامطلوب و ناکافی قرار میگیرد.
سوال : آیا سوالات امتحانات نهایی بر اساس نظریه کلاسیک از ویژگیهای روانسنجی مطلوب برخوردارند؟
در پاسخ به این سوال بعد از محاسبه اعتبار آزمون، آن را با بهره گرفتن از روش لوپ مورد بررسی قرار داده و سپس به شاخص های آماری سوالات که شامل درجه دشواری و ضریب تمیز سوال است، براساس داده های خام و کد گذاری شده اشاره می شود.
تحلیل سوالات آزمون ادبیات فارسی بر اساس مدل کلاسیک
الف) اعتبار بر اساس روش لوپ
این تحلیل ما را در شناسایی سوالاتی که نقش مهمی در هماهنگی با کل آزمون ایفا می کنند و سوالاتی که اثری بر اعتبار آزمون ندارند کمک می کند. ضریب اعتبار کل آزمون با بهره گرفتن از فرمول آلفای کرونباخ، (۹۵۶/۰ = ) بدست آمد. سپس بعد از حذف هر سوال میزان اعتبار آزمون مجدداً مورد بررسی قرار گرفت که نتایج آن در جدول زیر آمده است.
جدول۴-۱۷: میزان اعتبار به روش لوپ در آزمون ادبیات فارسی
سوال حذف شده
میزان اعتبار
سوال حذف شده
میزان اعتبار
سوال حذف شده
میزان اعتبار
سوال حذف شده
میزان اعتبار
۱
۹۵۶/۰
۱۶
۹۵۵/۰
