جودة المنظومة - “مِراف”:

الموثوقية، الصلاحية، والإنصاف

تُفحص جودة منظومة “ميراف” بشكل دوري. كما أن عملية مراقبة جودة منظومة “ميراف” شبيهة بمنظومتي “مور” و “مركام”.

هناك ثلاثة معايير تعكس جودة الامتحان: الموثوقية، الصلاحية، والإنصاف.
يعكس معيار الموثوقية إلى أي مدى تظل علامات الممتحَن ثابتة حتى إذا امتُحن مرة أخرى بصيغة مختلفة، في موعد آخر، وما شابه.
يعكس معيار الصلاحية إلى أي مدى تلائم علامات الامتحان مستوى المعرفة أو القدرة اللتين يُفترض أن تفحصهما هذه العلامات، وكذلك إلى أي مدى تكون القرارات التي تُتَّخَذ استنادا إلى هذه العلامات مبررة.
كما يعكس معيار الإنصاف إلى أي مدى يُمتَحن كل الممتحَنين بشكل موحّد ولا يميّز أية مجموعة إيجابًا أو سلبًا.

الموثوقية

تفحص الفحوص الإحصائية الموثوقية الداخلية للمنظومات، الموثوقية بين المُقيّمين، والموثوقية بين الامتحان والامتحان المُعاد. تشهد نتائج هذه الفحوص التي جرت على مر السنوات أن موثوقية منظومات “مور”،  “مركام”، و “ميراف” تستوفي المعايير المتبعة في المطبوعات المهنية وشبيهة بتلك المتبعة في منظومات التصنيف في العالم.

الصلاحية

إن فحص صلاحية التنبؤ الذي يجريه مركز التقييم مُعقَّد مقارنة بوسائل التقييم الأخرى، لأن معيار فحص الصلاحية هو الدور الفعلي والعملي في الموضوع الذي يتمّ التصنيف من أجل تعلّمه. من الصعب فحص مستوى الأداء في المهنة، وذلك لأسباب كثيرة. أولا، من الصعب اتخاذ قرار حول ما هو الأداء المهني الجيد: مثلا، عند طرح السؤال مَن هو الطبيب الجيد، قد تقدم المستشفيات، أعضاء الطاقم الطبيّ، ومتلقّو العلاج إجابات مختلفة، لكلّ منها أهمية. ثانيا، لا يمكن إجراء تقييم كمي موضوعي، لأن كل طبيب يتعامل مع حالات خاصة من الصعب المقارنة بينها. في النهاية، كلما كان الأطباء أفضل تعاملوا مع حالات أكثر تعقيدا تصعب معالجتها.

رغم هذه الصعوبات، تجمّعت على مرّ السنين بيانات بحثية متعلقة بصلاحية مراكز التقييم. في أبحاث جرت في البلاد والعالم حول منظومات التصنيف المتطابقة أو الشبيهة بمنظومات “مور”، “مركام”، و “ميراف” تبيّن أن هناك علاقة إيجابية بين علامة الامتحان في هذه المراكز وبين مؤشرات سلوكية تُفحص خلال السنوات السريرية لمدرسة الطب، التخصص، وامتحانات التأهيل.

الإنصاف

يُفحَص إنصاف الامتحان من جوانب مختلفة. أحدها هو مدى كونها موحّدة. يجتاز كلّ المُرشَّحين ضمن منظومات “مور”، “مركام”، و “ميراف” نفس أنواع المحطات ونفس النموذج البيوغرافي، كما تُستخدَم نفس المعايير أثناء التقييم. يُجرى الامتحانان بالطريقة نفسها تقريبا، ويُقيِّم اختصاصيون مؤهلون المُمتحَنين عبر نماذج تقييم مبنية ومعيارية. لم يكن هذا التطابق موجودًا في عدد من أدوات التصنيف التي كانت مُستخدَمة سابقًا، مثل المقابلة الطويلة مع لجنة. ثمة جانب آخر من إنصاف الامتحان هو تعدد المشاهدات غير المنحازة: في منظومات “مور”،  “مركام”، و “ميراف” لا تُتخَّذ القرارات استنادا إلى وجهة نظر وحيدة. بالإضافة إلى ذلك، يفحص خبراء كل مكوّنات الامتحان ومراكز التقييم الخاصة بمنظومات “مور”، “مركام”، و “ميراف” للتأكد من أن القدرة على التعامل مع هذه المنظومات لا تعتمد على جنس الممتحنين، أصلهم العرقي، خلفيتهم الثقافية، وما شابه.

قائمة المصادر

Gafni, N., Moshinsky, A.,  Kapitulnik, J.‎ ‎(‎2003‎).‎‎ ‎A standardized open-ended questionnaire as a substitute for a personal interview in dental admissions.‎‎ ‎Journal of Dental Education, 67(3), 348-353‎.‎

‏Ziv, A., Rubin, O., Moshinsky, A., Gafni, N., Kotler, M., Dagan, Y., …  Mittelman, M.‎ ‎(‎2008‎).‎‎ ‎MOR: a simulation‐based assessment centre for evaluating the personal and interpersonal qualities of medical school candidates.‎‎ ‎Medical Education, 42(10), 991-998‎.‎

Gafni, N., Moshinsky, A., Eisenberg, O., Zeigler, D.,  Ziv, A.‎ ‎(‎2012‎).‎‎ ‎Reliability estimates: behavioural stations and questionnaires in medical school admissions.‎‎ ‎Medical education, 46(3), 277-288‎.‎‏

Eva, K.‎ ‎W., Reiter, H.‎ ‎I., Rosenfeld, J., Trinh, K., Wood, T.‎ ‎J.,  Norman, G.‎ ‎R.‎ ‎(‎2012‎).‎‎ ‎Association between a medical school admission process using the multiple mini-interview and national licensing examination scores.‎‎ ‎Jama, 308(21), 2233-2240‎.‎

Hadad, A., Gafni, N., Moshinsky, A., Turvall, E., Ziv, A.,  Israeli, A.‎ ‎(‎2016‎).‎‎ ‎The multiple mini-interviews as a predictor of peer evaluations during clinical training in medical school.‎‎ ‎Medical teacher, 38(11), 1172-1179‎.‎‏

Moshinsky, A., Ziegler, D., Gafni, N.‎ ‎(‎2017‎).‎‎ ‎Multiple Mini-Interviews in the Age of the Internet: Does Preparation Help Applicants to Medical School?‎‎ ‎International Journal of Testing, 17(3), 253-268‎.‎