چکیده پژوهشهدف پژوهش حاضر، بررسی روایی و اعتبار دروس زیست شناسی و ادبیات فارسی در امتحانات نهایی نظام آموزشی متوسطه بوده است. جامعه، تمام سوالات امتحانات نهایی رشتهی علوم تجربی سال سوم مقطع متوسطه در خرداد ماه 1390 بود که جهت بررسی ویژگی های روان سنجی این سوالات، عملکرد 600 نفر از دانش آموزان ناحیه یک شهرستان خرمآباد در دو درس مذکور، تحلیل شد. در این تحقیق ترکیبی، به منظور بررسی روایی، این امتحانات از نظر ساختار، محتوا، توزیع طبقه بندی سوالات و میزان پوشش محتوای کتاب با استفاده از نظرات متخصصان موضوعی و در قالب پرسشنامه های محقق ساخته مورد ارزیابی قرار گرفتند. با کمک طرحهای اندازهگیری در GT، اعتبار امتحانات مذکور بررسی شد. همچنین، تحلیل سوالات آزمون با استفاده از مدلهای کلاسیک و IRTانجام گرفت. به منظور بررسی وضعیت قبولی آزمودنی ها و مقایسه عملکرد آنها بر اساس جنسیت، از شاخص های توصیفی و آزمون tمستقل استفاده گردید. در درس ادبیاتفارسی، تقریباً 95 درصد سوالات بدون اشکال ساختاری بودند که بیانگر وضعیت بسیار مطلوبی است. بیشترین اشکالات ساختاری در درس زیستشناسی، عدم تناسب بارم سوال با میزان دشواری و اهمیت سوال بود. بر اساس ملاک سهلگیرانه (6/0)، در دو درس ادبیات فارسی و زیستشناسی به ترتیب (31/26، 19/67) درصد سوالات ضروری تشخیص داده شدند. تقریباً 60 درصد سوالات در هر دو درس متعلق به سطح دانش بود.هم نمرات دانشآموزان و هم سوالات از اعتبار بالایی برخوردار بوده اما ضریب تعمیمپذیری مطلق برای مصححان، کمتر از 70/0 بود که نشان دهندهی نامطلوب بودن نمرهگذاری مصححان در هر دو درس می باشد.ضرایب تعمیم پذیری نسبی بدست آمده برای مصححان نیز نشان داد که روند تصحیح مصححان در درس ادبیات فارسی، متفاوت و در درس زیست شناسی، مشابه بوده است.با استفاده از آلفای کرونباخ، ضریب اعتبار برآورد شده ی آزمون زیست شناسی و ادبیاتفارسی (97/0، 96/0)تعیین گردید. همچنین بر طبق دو مدل CTTو IRT، دروس از ویژگیهای روانسنجی مطلوب برخوردار بودند. نمره ی میانگین دختران در هر دو درس بیشتر از پسران بود. شواهد تجربی بیانگر نقش خنثی مصحح دوم در امتحانات نهایی بود.کلید واژه ها : امتحانات نهایی، اعتبار، روایی، مدل کلاسیک، مدل های IRT، نظریه ی تعمیم پذیری فهرست مطالبفصل اول : کلیات تحقیقمقدمه............................. 1بیان مسئله............................. 2اهداف تحقیق.......................... 3هدف کلی........................ 4اهداف جزیی............................................ 4سوالات تحقیق................................. 4اهمیت و ضرورت تحقیق................................ 5تعاریف واژه ها و اصطلاحات............................ 6فصل دوم : ادبیات تحقیقمقدمه................................ 9فرآیند ارزشیابی پیشرفت تحصیلی.................................. 10انواع سوال.................................. 11انواع امتحانات قابل اجرا در سطح وزارت آموزش و پرورش.................................................. 15شیوه طراحی سوالات امتحانات نهایی........................................ 16چگونگی تصحیح امتحانات نهایی............................ 16مبانی نظری................................ 18نظریه کلاسیک آزمون ...................................(CTT)19مفروضات نظریه کلاسیک آزمون.................................. 19محدودیت های نظریه کلاسیک آزمون. .......................................................20نظریه تعمیم پذیری(..................................GT)22مفاهیم و اصطلاحات در..............................GT. 24انواع مطالعات......................................... 27ملاحظات مطالعات G و D.............................................. 27جهان مشاهدات قابل قبول و مطالعات G.................................................. 28جهان تعمیم و مطالعات D............................. 29مدل های تصادفی و ترکیبی با جهان های تعمیم نامحدود و محدود................................................ 30طرح های تعمیم پذیری................................ 31انواع تصمیم و واریانس های خطا.....................................35انواع ضرایب.......................................................... 37نظریه پرسش – پاسخ..................................(IRT)37مفروضات نظریه پرسش – پاسخ.. ..............................38تک بعدی بودن..................................... 38استقلال موضعی............................ 38معرفی مفاهیم اساسی در نظریه پرسش – پاسخ........................... 39خم ویژه سوال........................................... (ICC)39پارامتر دشواری سوال................................................... 39پارامتر تشخیص سوال.......................... 40پارامتر حدس سوال. ...........................40پارامتر آزمودنی....................................... 40ویژگی نامتغیر بودن پارامترها.................................41مدل ها در نظریه پرسش- پاسخ................................ 41مدل های پرسش – پاسخ لوجیستیک برای داده های دو ارزشی.......................... 42مدل یک پارامتری................................................... 42مدل دو پارامتری........................ 42مدل سه پارامتری.. ..............................43نظریه تعمیم پذیری در مقابل نظریه کلاسیک آزمون................................. 43نظریه کلاسیک آزمون و نظریه تعمیم پذیری در مقابل نظریه پرسش پاسخ.................................. 45مفهوم اعتبار................................ 47تعاریف آماری اعتبار.............................. 47روش های برآورد اعتبار................................................... 48روش های برآورد اعتبار آزمون های هنجار مرجع........................... 50عوامل مؤثر بر اعتبار آزمون............................. 56خطای معیار اندازهگیری..................... 57مفهوم اعتبار در.............................. IRT. 59تعریف و مفهوم روایی................................ 59تاریخچه روایی................................ 60انواع روایی.................................................. 60ارتباط روایی و اعتبار................................... 65محتوا..................................65تحلیل محتوا.........................66تحقیقات انجام شده در داخل و خارج از ایران........................................... 66فصل سوم : روش تحقیقمقدمه.................................... 78روش تحقیق...................................................... 78جامعه آماری...................... 79گروه نمونه و شیوه گزینش آن.......................... 80روش گردآوری اطلاعات.......................... 81روش اجرای تحقیق.................................. 83روش تجزیه تحلیل اطلاعات........................ 84فصل چهارم : تجزیه و تحلیل داده هاتجزیه تحلیل آماری............................................. 92فصل پنجم : بحث و نتیجه گیریمقدمه................................... 151بحث و نتیجه گیری........................................ 152یافته های جانبی تحقیق در ارتباط با تصحیح اوراق امتحانات نهایی................................. 163محدودیت های تحقیق.............................. 166پیشنهادهایی برای تحقیق های آینده..........................................166منابعپیوست ها فهرست جداولجدول2-1: مشخصات طرح 1........................................ 31جدول 2-2: مشخصات طرح 2. ...............................33جدول 2-3: مشخصات طرح 3. ...............................34جدول 2-4: طرح یک رویه ای iP× مطالعهG– اثرات تصادفی.................................... 35جدول 3-1: دروس انتخاب شده و تعداد سوالات.......................... 79جدول3-2: توزیع فراوانی جنسیت در جامعه و نمونه ی دانش آموزان رشته ی علوم تجربی........................................... 81جدول 3-3: خلاصه اطلاعات جمع آوری شده......................................82جدول4-1 : توزیع فراوانی و درصد سوالات دارای اشکال ساختاری در دروس ادبیات فارسی و زیست شناسی.. ...................................92جدول4-2: نسبت روایی محتوایی بدست آمده برای سوالات ادبیات فارسی................................ 93جدول4-3: نسبت روایی محتوایی بدست آمده برای سوالات زیست شناسی.. ........................94جدول4-4: تعداد و درصد سوالات ضروری برحسب شاخص CVR به تفکیک دروس....................... 94جدول4-5: توزیع طبقه بندی سوالات به تفکیک دروس............................................................... 95جدول4-6: چگونگی توزیع سوالات به فصل های مختلف به تفکیک دروس............................... 96جدول 4-7: طرح برآورد و مشاهده مطالعه برای درس ادبیات فارسی...................... 97جدول 4-8: جدولمنابعتغییردرسادبیاتفارسیبرایطرحهایاندازهگیری.........................................SGR/I،I/SGR،R/SGI97جدول 4-9: مطالعه G برای طرح اندازه گیری ...................................................SGR/I98جدول4-10: مطالعه G برای طرح اندازه گیری........................ I/SGR. 99جدول 4-11: ضرایب تعمیم پذیری برای طرح........................... R/SGI101جدول 4-12: طرح مشاهده و برآورد مطالعه اندازهگیری برای درس زیست شناسی.................................. 103جدول4-13 : منابعتغییردرسزیستشناسیبرایطرحهایاندازهگیری.................................SGR/I،I/SGR،R/SGI103جدول 4-14: مطالعه G برای طرح اندازه گیری..................................... SGR/I104جدول 4-15: مطالعه G برای طرح اندازه گیری ..........................................I/SGR. 105جدول 4-16:مطالعه G برای طرح اندازه گیری ....................................................R/SGI106جدول4-17: میزان اعتبار به روش لوپ در آزمون ادبیات فارسی................................. 108جدول 4-18 : تجزیه و تحلیل شاخص های سوال در مدل کلاسیک بر اساس داده های خام..............................109جدول 4-19 : تجزیه و تحلیل شاخص های سوال در مدل کلاسیک بر اساس داده های کدگذاری شده........................111جدول 4-20: توزیع سوالات بر اساس ضرایب دشواری و تمیز کلاسیک برای داده های خام.........................112جدول 4-21 : توزیع سوالات بر اساس ضرایب دشواری و تمیز کلاسیک برای داده های کدگذاری شده...............................112جدول4-22 : میزان اعتبار به روش لوپ در آزمون زیست شناسی.............................................. 113جدول4-23: تجزیه و تحلیل شاخص های سوال در مدل کلاسیک بر اساس داده های خام.......................114جدول 4-24 : تجزیه و تحلیل شاخص های سوال در مدل کلاسیک بر اساس داده های کدگذاری شده.........................116جدول 4-25: توزیع سوالات بر اساس ضرایب دشواری و تمیز کلاسیک برای داده های خام.......................................................117جدول 4-26 : توزیع سوالات بر اساس ضرایب دشواری و تمیز کلاسیک برای داده های کدگذاری شده...........................118جدول4-27 : مقادیر برآوردشده ی پارامترهای سوال به همراه آزمون خی دو و سطح معناداری در مدل هاییک پارامتری و دو پارامتری در آزمون ادبیات فارسی.................................. 120جدول4-28 : بررسی برازندگی تک تک سوالات با مدل یک پارامتری و دو پارامتری در سطوح آلفای 01/0 و 05/0..................... 122جدول4-29: توزیع سوالات آزمون ادبیات فارسی بر اساس پارامترهای سوال در مدل دو پارامتری................................ 124جدول 4-30 : مقادیر بیشینه آگاهی سوالات و تتای ماکسیمم در مدل دو پارامتری در آزمون ادبیات فارسی............................ 128جدول4-31: توزیع سوالات آزمون ادبیات فارسی برحسب دامنه ی آگاهی در مدل دو پارامتری................................. 129جدول4-32: مقادیر برآورد شده ی آگاهی و خطای استاندارد اندازه گیری آزمون ادبیات فارسیدر سطوح مختلف توانایی برحسب مدل دو پارامتری .................................130جدول4-33: مقادیر برآوردشده ی پارامترهای سوال به همراه آزمون خی دو و سطح معناداری در مدل هاییک پارامتری و دو پارامتری در آزمون زیست شناسی........................ 132جدول4-34: بررسی برازندگی تک تک سوالات با مدل یک پارامتری و دو پارامتری در سطوح آلفای 01/0 و 05/0. .............................135جدول 4-35: توزیع سوالات آزمون زیست شناسی بر اساس پارامترهای سوال در مدل دو پارامتری............................... 136جدول 4-36 : مقادیر بیشینه آگاهی سوالات و تتای ماکسیمم در مدل دو پارامتری در آزمون زیست شناسی.......................... 140جدول 4-37 : توزیع سوالات آزمون زیست شناسی برحسب دامنه ی آگاهی در مدل دو پارامتری................................. 142جدول4-38: مقادیر برآورد شده ی آگاهی و خطای استاندارد اندازه گیری آزمون زیست شناسی در سطوح مختلف توانایی برحسب مدل دو پارامتری ........................................................................................................................................................................... 142 جدول 4-39 : توزیع فراوانی وضعیت قبولی آزمودنیها به تفکیک جنسیت و درس........................................ 145جدول 4-40 : شاخص های توصیفی توزیع نمرات آزمودنی ها...........................................146جدول 4-41: شاخص های توصیفی شکل توزیع نمرات آزمودنی ها.....................................146جدول4-42: شاخص های توصیفی توزیع نمرات آزمودنی ها به تفکیک جنسیت...................................................... 148جدول4-43: شاخص های توصیفی شکل توزیع نمرات آزمودنی ها به تفکیک جنسیت............................. 148جدول 4-44: نتایج آزمون t مستقل بین دو گروه آزمودنی های پسر و دختر.......................................... 149جدول 5-1 : میزان توافق دو مدل کلاسیک و IRT در تعیین سوالات مناسب و نامناسب از نظر قدرت تشخیص برای آزمون ادبیات فارسی......................................................................................................................................................................................................160جدول 5-2 : میزان توافق دو مدل کلاسیک و IRT در تعیین سوالات مناسب و نامناسب از نظر قدرت تشخیص برای آزمون زیست شناسی.....................................................................................................................................................................................................161 فهرست نمودارهانمودار2-1 : طرح 1................................. 32نمودار2-2 : طرح 2........................... 33نمودار2-3: طرح 3................................... 34نمودار 2-4: سهم واریانس خطای نسبی و مطلق در طرح یک رویه ای متقاطع................................................................36نمودار2-5: روش های برآورد اعتبار..................................................................................................................................49نمودار2-6: روش های برآورد روایی.................................................................................................................................61نمودار3-1: تقسیم بندی واریانس برای طرح برآورد I(S:G:R).........................................................................................49نمودار4-1: نمودار اسکری آزمون ادبیات فارسی................................. 119نمودار4-2 : منحنی ویژگی سوال های آزمون ادبیات فارسی در مدل یک پارامتری....................................... 125نمودار 4-3 : منحنی ویژگی سوال های آزمون ادبیات فارسی در مدل دو پارامتری................................. 126نمودار 4-4 : منحنی ویژگی سوال 48 آزمون ادبیات فارسی بر اساس مدل دو پارامتری.............................. 127نمودار 4-5: منحنی آگاهی سوال 48 آزمون ادبیات فارسی بر اساس مدل دو پارامتری.............................. 128نمودار 4-6: منحنی آگاهی و خطای استاندارد اندازه گیری آزمون ادبیات فارسی برحسب مدل دو پارامتری............................................ 131نمودار4-7 : هیستوگرام توزیع توانایی آزمودنی ها در آزمون ادبیات فارسی برحسب مدل دو پارامتری......................... 131نمودار4-8 : نمودار اسکری آزمون زیست شناسی............................. 132نمودار4-9: منحنی ویژگی سوال های آزمون زیست شناسی در مدل یک پارامتری.................................... 137نمودار 4-10: منحنی ویژگی سوال های آزمون زیست شناسی در مدل دو پارامتری..................................... 138نمودار 4-11: منحنی ویژگی سوال 24 آزمون زیست شناسی بر اساس مدل دو پارامتری............................................ 139نمودار 4-12 : منحنی آگاهی سوال 24 آزمون زیست شناسی بر اساس مدل دو پارامتری..................................... 140نمودار 4-13 : منحنی آگاهی و خطای استاندارد اندازه گیری آزمون زیست شناسی برحسب مدل دو پارامتری...................................... 143نمودار4-14: هیستوگرام توزیع توانایی آزمودنی ها در آزمون زیست شناسی برحسب مدل دو پارامتری....................................... 143نمودار4-15 : منحنی توزیع نمرات آزمودنی ها...............................................................................................................147