איכות מערכת מר"ב:
מהימנות, תוקף והוגנות
איכות מערכת מר"ב נבדקת באופן שוטף. הליך בקרת האיכות של מערכת מר"ב דומה לזה של מערכות מו"ר ומרק"ם.
שלושה מדדים משקפים את איכותה של כל בחינה: מהימנות, תוקף והוגנות.
מדד המהימנות משקף את המידה שבה ציוני הבחינה של נבחן נשארים יציבים גם אם הוא נבחן שוב בנוסח אחר, במועד אחר וכן הלאה.
מדד התוקף משקף את המידה שבה ציוני הבחינה תואמים לרמת הידע או היכולת שהם אמורים לבדוק ואת המידה שבה ההחלטות המתקבלות על בסיס ציונים אלו הן מוצדקות.
מדד ההוגנות משקף את המידה שבה הבחינה מועברת לכל הנבחנים בתנאים אחידים ואינה מפלה שום קבוצה באוכלוסייה לטובה או לרעה.
מהימנות
הבדיקות הסטטיסטיות בודקות את המהימנות הפנימית של המערכות, את המהימנות בין מעריכים ואת המהימנות בין מבחן למבחן חוזר. לאורך שנים ממצאי הבדיקות הללו מעידים על כך שמהימנות המערכות מו"ר, מרק"ם ומר"ב עומדת בסטנדרטים המקובלים בספרות המקצועית ודומה לזו של מערכות מיון דומות בעולם.
תוקף
בדיקת תוקף הניבוי של מרכז הערכה מסובכת בהשוואה לכלי הערכה אחרים, וזאת מכיוון שהקריטריון לבדיקת התוקף הוא התפקוד הממשי והמעשי במקצוע שלקראת לימודו נערך המיון. רמת התפקוד במקצוע קשה לבדיקה, וזאת מכמה סיבות. ראשית, קשה להחליט מהו תפקוד טוב במקצוע: לשאלה מיהו רופא טוב, למשל, עשויות להתקבל תשובות שונות זו מזו מצד בתי החולים, מצד חברי הצוות הרפואי ומצד המטופלים, ולכל אחת מהן יש חשיבות. שנית, הערכה כמותית אובייקטיבית אינה אפשרית, וזאת משום שכל רופא מתמודד עם מקרים ייחודיים שקשה להשוות ביניהם. לבסוף, ככל שהרופאים טובים יותר כך הם מתמודדים עם מקרים סבוכים יותר שקשה יותר לטפל בהם.
למרות הקשיים הללו, לאורך השנים הצטברו נתונים מחקריים בדבר התוקף של מרכזי הערכה. במחקרים שנערכו בארץ ובעולם על מרכזי הערכה במערכות מיון זהות או דומות למערכות מו"ר, מרק"ם ומר"ב נמצא מתאם חיובי בין הציון לבין מדדים התנהגותיים הנבדקים בשנים הקליניות של בית הספר לרפואה, בהתמחות ובמבחני ההסמכה.
הוגנות
הוגנות הבחינה נבחנת מכמה היבטים. אחד מהם הוא אחידותה. במערכות מו"ר, מרק"ם ומר"ב כל המועמדים נבחנים באותם סוגי תחנות ובאותו שאלון ביוגרפי, והם מוערכים על פי אותם קריטריונים. שתי הבחינות מתנהלות כמעט באותו האופן, ואנשי מקצוע שעברו את אותה ההכשרה מעריכים בהן את הנבחנים באמצעות טופסי הערכה מובנים וסטנדרטיים. אחידות מעין זו אינה קיימת בכמה מכלי המיון ששימשו בעבר, כגון ריאיון ארוך מול ועדה. היבט אחר של הוגנות הבחינה הוא ריבוי התצפיות הבלתי תלויות: במערכות מו"ר, מרק"ם ומר"ב ההחלטות אינן מתקבלות על סמך חוות דעת יחידה. נוסף על כך, מומחים בודקים את כל רכיבי הבחינה ומרכזי ההערכה במו"ר, במרק"ם ובמר"ב, כדי לוודא שהיכולת להתמודד עימם אינה תלויה במגדר הנבחנים, במוצאם, ברקעם התרבותי וכדומה.
רשימת מקורות
Gafni, N., Moshinsky, A., Kapitulnik, J. (2003). A standardized open-ended questionnaire as a substitute for a personal interview in dental admissions. Journal of Dental Education, 67(3), 348-353.
Ziv, A., Rubin, O., Moshinsky, A., Gafni, N., Kotler, M., Dagan, Y., … Mittelman, M. (2008). MOR: a simulation‐based assessment centre for evaluating the personal and interpersonal qualities of medical school candidates. Medical Education, 42(10), 991-998.
Gafni, N., Moshinsky, A., Eisenberg, O., Zeigler, D., Ziv, A. (2012). Reliability estimates: behavioural stations and questionnaires in medical school admissions. Medical education, 46(3), 277-288.
Eva, K. W., Reiter, H. I., Rosenfeld, J., Trinh, K., Wood, T. J., Norman, G. R. (2012). Association between a medical school admission process using the multiple mini-interview and national licensing examination scores. Jama, 308(21), 2233-2240.
Hadad, A., Gafni, N., Moshinsky, A., Turvall, E., Ziv, A., Israeli, A. (2016). The multiple mini-interviews as a predictor of peer evaluations during clinical training in medical school. Medical teacher, 38(11), 1172-1179.
Moshinsky, A., Ziegler, D., Gafni, N. (2017). Multiple Mini-Interviews in the Age of the Internet: Does Preparation Help Applicants to Medical School? International Journal of Testing, 17(3), 253-268.