فصل چهارم : پیشنهاد روش بهبود یافته

مقدمه
در فصل­های قبل، آزمون انطباقی کامپیوتری معرفی و مورد بحث قرار گرفته شد، همانطور که گفته شد آزمون انطباقی کامپیوتری بر اساس نظریه سوال پاسخ، آزمون را مدل­سازی می­ کند و با توجه به پارامترهایی که برای سوال در نظر می گیرد آزمونی مجزا و امتیاز دهی شده برای هر آزمون­دهنده اجرا می­ کند. بر خلاف آزمون­های سنتی کامپیوتری و یا کاغذی، آزمون انطباقی کامپیوتری، به ترتیب سوال­هایی از یک بانک سوال انتخاب می­ کند و برای هر آزمون­دهنده نمایش می­دهد. برای هر آزمون­دهنده، سیستم با سطح مهارت موقتی (معمولاً صفر) شروع می­ شود. در مرحله بعدی، سطح مهارت آزمون­دهنده بر اساس پاسخ­های داده شده در مراحل قبل، تخمین زده می­ شود. این تخمین برای انتخاب سوال بعدی در روش­های قدیمی بر اساس برخی ضوابط مانند اطلاعات فیشر یا اطلاعات کولبک – لیبلر، مورد استفاده قرار می­گیرد، از این رو آموزنده­ترین سوال از میان سوالات باقی­مانده در بانک سوالات انتخاب می­ شود. مشکل این روش­ها این است که برخی از سوالات را بندرت انتخاب می­ کند و باعث می­ شود که از تنوع سوالات در بانک استفاده نشود. این روند تا زمانی ادامه می­یابد که توسط معیارهای توقف مشخصی مانند رسیدن به سطح مشخص، یا حداکثر تعداد سوال (N_max) پرسیده شده، توقف یابد.

( اینجا فقط تکه ای از متن فایل پایان نامه درج شده است. برای خرید متن کامل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. )

در آزمون انطباقی کامپیوتری هر کدام از سوال­ها توسط تعدادی از پارامترهایی که تحت نظریه سوال پاسخ هستند، مشخص می­شوند و سطح مهارت آزمون­دهنده به طور معمول توسط یک ویژگی نهفته(θ) مدل­سازی می­ شود. پس از اینکه آزمون شروع شد، یک سیستم نمره­دهی، به پاسخ­های آزمون­دهنده نمره­ای را تخصیص می­دهد. [ برای مثال ۰ (به معنی نادرست) یا ۱ (به معنی درست)]. نظریه سوال پاسخ، یک توزیع احتمال از سوال پاسخ داده شده، به عنوان تابعی از صفت نهفته فراهم می­ کند، همانگونه که پارامترهای سوال این کار را انجام می­دادند.
چندین مدل ریاضی با هدف توصیف سوال­ها به وجود آمده­اند. این مدل­ها معمولاً بر روی یک بعد مفروضات (مانند یک صفت نهفته واحد)، یا استقلال مشروط (برای مثال، عناصر بردار پاسخ سوال برای هر آزمون­دهنده مستقل هستند) و یکنواختی (یعنی احتمال پاسخ درست یک تابع غیرکاهشی است)، تکیه دارد. محبوبترین مدل­ها مبتنی بر عملکرد منطقی هستند که می­توانند یک، یا دو و یا سه پارامتر داشته باشند. این پارامترها نشان­دهنده سطح دشواری، تبعیض و حدس زدن هستند. این مدل­ها به عنوان مدل­های پارامتریک (PIRT) با نام مدل لجستیکی یک پارامتری (۱PL)، مدل­های لجستیکی دو پارامتری (۲PL) و مدل لجستیکی سه پارامتری (۳PL) شناخته شده هستند.
در روش پیشنهادی ساختار آزمون انطباقی کامپیوتری با ترکیب روش­های استفاده شده توسط دیگران و تغییری در پیاده­سازی آن­ها ساخته می­ شود، به دلیل آنکه پارامترهای مطرح شده در نظریه سوال پاسخ برای انتخاب سوال کافی نمی باشد و نیاز به ویژگی­های دیگری نیز در این تابع است، به همین منظور ساختار سوال را با بهره گرفتن از موضوع، مبحث و مفهوم ایجاد شده و سوالات با این دسته­بندی از بانک سوالات انتخاب می شود و در صورتی که آزمون­دهنده در مفهومی قوی می­باشد، می­توان آن مفهوم را کنار گذاشته و به مفهوم دیگری مراجعه کرد. مسئله مهم دیگری که در انتخاب سوالات آزمون انطباقی کامپیوتری مطرح است و در روش پیشنهادی به آن توجه شده است، برآورد و تخمین سطح دانش آزمون­دهنده می­باشد. روش­های مختلفی برای این برآورد وجود دارد که می­توان به اطلاعات فیشر، روش نیوتن-رافستر ، شبکه ­های بیزین و شبکه عصبی اشاره نمود. در این پایان نامه این برآورد با بهره گرفتن از سه مدل شبکه عصبی که عبارتند از شبکه عصبی هرس جامع، شبکه عصبی پرسپترون چند لایه و شبکه عصبی تابع پایه شعاعی انجام می شود. در ادامه مشکلات روش­های قبل بیان شده و روش پیشنهادی مطرح می­ شود.
مشکلات روش­های قبل
روش­های قبلی در آزمون­های انطباقی کامپیوتری دارای چند مشکل بودند، یکی از این مشکلات این است که طول آزمون در این روش­ها ثابت و یا وابسته به رسیدن به سطحی از دانش آزمون­دهنده است که ممکن بود بدون توجه به اینکه آزمون­دهنده­ای در مفهومی قوی و در مفهوم دیگر ضعیف است، آزمون به پایان برسد. مشکل دیگر اینکه بعد از پایان یافتن آزمون فقط سطح دانش آزمون­دهنده از آزمون استخراج می­شد و نقاط قوت و ضعف آزمون­دهنده کسب نمی­شد. مشکل دیگری که پیش­تر مطرح شد، روش­های قبلی دامنه انتخاب سوال کمی داشتند، یعنی آزمون تعداد کمی از سوالات را اجرا می­کرد و به همین دلیل برخی سوالات به ندرت پرسیده می­شدند. مشکل دیگر اینکه این آزمون­ها تخمین سطح دانش آزمون­دهنده را با بهره گرفتن از روش­های تکرارشونده محاسبه می­کردند و این روش­ها دارای دقت و سرعت مناسب نبودند. همچنین محاسبه تخمین سطح آزمون­دهنده شامل حلقه هایی است که ده ها بار باید بطور سریال و پی در پی تکرار شود و در هر تکرار خصوصیت خاصی از سطح آزمون­دهنده را ذخیره نموده و با الگو مقایسه نماید و سپس بهترین برآمورد را محاسبه می­ کند. سلسله عملیات مزبور، بارها تکرار می­ شود.
روش پیشنهادی
هدف اولیه در پیشنهاد روش بهبودیافته این است که بهترین برآورد از سطح مهارت آزمون­دهنده را بر اساس بردار پاسخ به دست آورده شود. هدف بعدی در روش پیشنهادی بهبود هوشمندانه انتخاب سوال بر پایه سطح دانش آزمون­دهنده است. این کار برای تعیین سطح بهتر آزمون­دهنده، با سوالات کمتر فراهم می­ شود. فلوچارت موجود در شکل ‏۴‑۱ گام های روال آزمون انطباقی کامپیوتری پیشنهاد شده در این پایان نامه را نشان می­دهد. همانطور که در شکل ‏۴‑۱ مشاهده می­ شود از بانک سوالات، سوالی از آزمون­دهنده پرسیده می­ شود. این سوال با بهره گرفتن از نظریه سوال پاسخ و شبکه بیزین که در فصل قبل صحبت شد، مدل­سازی شده و بر اساس برآورد پارامترهایی که برای هر سوال توسط فرد خبره (معلم انسانی) تعیین شده است، سوال از آزمون­­دهنده پرسیده می­ شود.
برآورد پارامترهای مدل، یعنی سوال­های کالیبراسیون شده بانک سوالات، اغلب با بهره گرفتن از یکی از روش­های حداکثر احتمال مشترک، حداکثر احتمال شرطی و برآورد بیز با زنجیره مارکوف مونت کارلو به دست می­آیند (البته این بخش مورد بحث در این پایان نامه نمی ­باشد). با این حال، برنامه ­های این روش بر این فرض متکی است که آزمون دهندگان مستقل از یکدیگر هستند و پاسخ به یک آزمون دهنده به یک سوال خاص کاملا مستقل است. با بهره گرفتن از مدل ۳PL احتمال شرطی پاسخ درست z_i = ۱، برای سوال i برای یک آزمون دهنده با سطح مهارت θ، در معادله ‏۴‑۱ نشان داده شده است.

معادله ‏۴‑۱

در معادله ‏۴‑۱، a_i، b_i و c_i پارامترهای سوال را ارائه می­ کنند که شامل تبعیض، دشواری و حدس زدن بود. در تئوری محدوده پارامترها -∞ < a_i <∞ و -∞ < b_i < ∞ و ۰ ≤ c_i ≤ ۱ است. نمایش گرافیکی معادله ‏۴‑۱ معمولاً به عنوان منحنی مشخصه سوال (ICC) معروف است.
در مرحله بعد آزمون­دهنده به این سوال پاسخ می­دهد و نتیجه آن ذخیره می­ شود. بعد از آنکه آزمون دهنده به سوال پاسخ داد، با توجه به پاسخ این سوال و سوالات قبلی و با بهره گرفتن از شبکه ­های عصبی سطح دانش آزمون­دهنده برآورد می­ شود. سپس بررسی می­ شود که آیا آزمون به نقطه مورد نظر (نقطه توقف) رسیده است. اگر آزمون به نقطه توقف رسیده بود نتایج آزمون در بانک پاسخ سوالات برای بروزرسانی شبکه عصبی ذخیره می­ شود، در غیر اینصورت بررسی می­ شود در صورتی که سوالی جهت پرسش موجود است، اگر سوالی موجود بود، آزمون ادامه پیدا می­ کند و سوال بعدی پرسیده می­ شود. این روند تا زمانی که به نقطه پایان آزمون، که در بخش­های قبل به آن اشاره شد، ادامه دارد. در صورتی که سوالی جهت پرسش موجود نباشد، گزارش این خطا ذخیره می­ شود و آزمون به پایان می­رسد.
شکل ‏۴‑۱: گام­های روال الگوریتم پیشنهادی برای آزمون انطباقی کامپیوتری.
مدل­سازی ساختار سوالات بر اساس شبکه بیزین
در مرحله اول الگوریتم پیشنهادی، انتخاب سوال از بانک سوالات می­باشد. ساختار سوالات پیشنهاد شده در شکل ‏۴‑۲ نشان داده شده است. در آزمون انطباقی کامپیوتری، پارامترهای مطرح شده در نظریه سوال پاسخ برای انتخاب سوال کافی نمی ­باشد و نیاز به ویژگی­های دیگری در تابع انتخاب سوال است، به همین منظور در روش پیشنهادی ساختار سوال را با بهره گرفتن از موضوع، مبحث و مفهوم ایجاد کرده و سوالات با این دسته­بندی از بانک سوالات انتخاب می­ شود. در صورتی که آزمون­دهنده در مفهومی قوی باشد، می­توان آن مفهوم را کنار گذاشته و به مفهوم دیگری مراجعه کرد. بخشی که شامل گره مفهوم و سوال است برای انجام فرایند تشخیص و انتخاب سوال استفاده می­ شود. هدف از این مرحله پی بردن به مجموعه ­ای از مفاهیم است که آزمون­دهنده بر آنها تسلط­ دارد و از بین پاسخ­های آزمون­دهنده استخراج می شود.
شکل ‏۴‑۲: ساختار سوالات پیشنهادی در آزمون انطباقی پیشنهادی.
در ساختار سوال الگوریتم پیشنهادی (همانطور که در شکل ‏۴‑۲ نشان داده شده است) هر موضوع شامل چند مبحث و هر مبحث شامل چند مفهوم است. هر سوال با مفاهیم می ­تواند رابطه یک به چند داشته باشد، اما در این پایان نامه هر سوال با هر مفهوم رابطه یک به یک دارد. با بهره گرفتن از این ساختار و از روشی که یک معلم انسانی استفاده می­ کند، ارزیابی آزمون­دهندگان شبیه­سازی شده است. روابط تجمیع هنگامی که لازم است برای محاسبه اندازه ­گیری چگونگی تسلط درست آزمون­دهنده به موضوع، و ​​یا زمانی که اطلاعات نسبی مفصل­تری برای هر یک از مباحث آن مورد نیاز است، استفاده خواهند شد.
با توجه به روابط میان مفاهیم و پرسش­ها، برای هر مورد آزمون لازم است برای مشخص کردن احتمال درستی پاسخ دادن به سوال داده شده تمام ترکیبات ممکن از تسلط یا عدم تسلط بر مفاهیم مرتبط بررسی شود. بنابراین اگر، برای مثال، یک سوال برای چهار مفهوم مشترک است بنابراین نحوه انتخاب سوال از طریق هر یک از مفاهیم، !۴ حالت دارد و معلم نیاز به مشخص کردن ۲۴ احتمال دارد. برای کمک به معلم در این کار، روش زیر پیشنهاد می­ شود.
روشن است که، مفاهیم بیشتر از مفاهیمی که آزمون­دهنده به آنها مسلط است، احتمال دادن پاسخ صحیح را بیشتر می­ کند (به خصوص در مورد آزمون، که در آن آزمون­دهنده می ­تواند پاسخ صحیح را به سادگی با دور انداختن آنهایی که نادرست است انتخاب کند). تنها نیاز است تا فرد خبره (معلم) مفاهیم مرتبط با اهمیت را مرتب کند، و سپس پارامترهای مورد نیاز را می­توان با ارزیابی عملکرد در نقاط انتخاب شده محاسبه کرد. این تابع می ­تواند انتخاب یک تابع لجستیک (از جمله، به عنوان مثال، تابع لجستیک ۳ پارامتری ارائه شده در بخش­های قبل) باشد.
علاوه بر این، استفاده از یک تابع لجستیک نیز اجازه می­دهد پارامترهای مربوط به هر سوال معرفی شوند، که معلم می ­تواند یک شاخص دشواری ، پارامتر تبعیض و پارامتر حدس زدن برای سوال ارائه کند. به یاد آورید که عامل حدس زدن که به عنوان ۱/n تعیین می­ شود، که در آن n تعداد پاسخ های ممکن است.
هر آزمون­دهنده در آزمون برای اینکه در هر موضوع مسلط شود، باید در تمامی مباحث و به همین ترتیب در تمامی مفاهیم و در آخر به همه سوالات پاسخ دهد. اگر بانک سوالات شامل تعداد زیادی از سوالات باشد، این عمل تقریباً غیر ممکن خواهد شد. پس از هر مفهوم تعداد n سوال پرسیده می­ شود که n برای هر مفهوم می ­تواند متفاوت باشد و این سوالات نزدیکترین سطح به دانش او را خواهد داشت و با پاسخ دادن به هر سوال، وضعیت احتمال تسلط یا عدم تسلط آزمون­دهنده به مفهوم بررسی خواهد شد و در صورتی که در آن مفهوم احتمال تسلط داشته باشد، همانند معلم انسانی که در صورتی که آزمون­دهنده در یک مفهوم مسلط باشد دیگر از آن مفهوم سوال نمی­پرسد و به مفهوم بعد مراجعه می­ کند و از آن پرسش می­ کند، در اینجا هم بدون ادامه دادن به سوالات این مفهوم به سوالات مفهوم بعد پرداخته خواهد شد، که باعث می­ شود طول آزمون کوتاه­تر شود و همچنین تنوع سوالات در آزمون حفظ شود. اگر آزمون­دهنده برای نیمی از سوالات درجه تسلط از مقداری که فرد خبره تعیین می­ کند را کسب کند، می­توان از ادامه سوالات این مفهوم صرفه نظر کرد. برای مشخص کردن درجه تسلط، رویکردی که در بخش ‏۳ – ۲ – ۷ در مورد آن بحث شده بود، با تغییری که ذکر شد، استفاده خواهد شد. همانطور که در معادله ‏۴‑۲ مشاهده می­کنید، برای هر مفهوم C_j، {۱,…,n_j p_ij, i =} تعریف می شود، که مجموعه ­ای از سوالات مرتبط با تعداد مشخص n، و w_ij نشان دهنده احتمال پاسخ دادن آزمون­دهنده به P_i در مفهوم C_J، . سپس، برای هر توزیع احتمال شرطی لازم در معادله ‏۴‑۲ نشان داده شده است.

معادله ‏۴‑۲

در مورد وزن سوالاتی که هنوز پرسیده نشده است باید گفت، چون این سوال اولاً مشخص نیست، ثانیاً میزان دانشی را که آزمون­دهنده کسب می­ کند نامعلوم است، با توجه به میانگین احتمال پاسخگویی و نرمال کردن پاسخ، ۰.۵ در نظر گرفته می­ شود. این مقدار همیشه عددی بین صفر و یک می­باشد، اگر این مقدار یک در نظر گرفته شود احتمال را کاهش و اگر صفر در نظر گرفته شود احتمال را افزایش می­دهد، به همین دلیل برای آن ۰.۵ در نظر گرفته شده است. به طور مثال در صورتی که تعداد سوالات که از هر مفهوم پرسیده شود را پنج و آزمون­دهنده به سه سوال با وزن­های به ترتیب ۰.۷، ۰.۶ و ۰.۸ به صورت زیر پاسخ دهد، احتمال شرطی در معادله ‏۴‑۳ محاسبه شده است.

معادله ‏۴‑۳

در صورتی که این احتمال از مقداری که توسط فرد خبره تعیین می­ شود بیشتر باشد، پس آزمون­دهنده به این مفهوم مسلط است. این امر باعث می­ شود از پرسش سوالات زیاد پرهیز شود و طول آزمون نسبت به آزمون به روش معمول کوتاه­تر شود، همچنین توسط این روش می­توان تشخیص داد که آزمون­دهنده در چه مفاهیم، به همین ترتیب در چه مبحث و موضوعاتی دارای ضعف می­باشد و با نتایج بدست آمده تشخیص مناسبی را اتخاذ کرد و سطح دانش آزمون دهنده را بهبود بخشید.
مدل­سازی آزمون­ با بهره گرفتن از شبکه ­های عصبی
همانطور که قبلاً گفته شد، در مرحله تخمین سطح آزمون­دهنده روش­هایی مانند اطلاعات فیشر یا اطلاعات کولبک- لیبلر، مورد استفاده قرار می­گیرد و مشکل این روش­ها این است که برخی از سوالات را بندرت انتخاب می­ کند و باعث می­ شود که از تنوع سوالات در بانک استفاده نشود و همچنین تخمین دقیقی از سطح دانش آزمون­دهنده بدست نمی­آورند. روش­های زیادی برای بهبود تخمین وجود دارد، در روش پیشنهادی از شبکه عصبی استفاده شده است که در نتیجه در محاسبه تخمین سطح آزمون­دهنده بهبود بهتری در دقت و سرعت نسبت به روش­های قبل دارد.
یک شبکه عصبی شامل بسیاری از عناصر محاسباتی غیرخطی و یا گره­های عامل که به صورت موازی در یک الگوی مرتب عمل می­ کنند، می­باشند که از سلول­های عصبی زیستی الهام گرفته شده ­اند. گره­ها توسط سیناپس به هم متصل می شوند که آنها در فاز آموزش با بهره گرفتن از مجموعه داده ­های نمونه وزن­دهی می شوند. پس از آنکه آموزش کامل شد، از شبکه می­توان در پیش ­بینی خروجی مورد نظر برای یک الگوی داده مشخص، استفاده کرد. چندین مدل از شبکه های عصبی وجود دارند. که در این پایان نامه بر روی سه مدل شامل هرس جامع^[۴۶]، پرسپترون چندلایه^[۴۷] (MLP) و تابع پایه شعاعی^[۴۸] (RBF) تمرکز خواهد شد.