פורסם על ידי: or100 | מאי 28, 2009

שיפוט והערכה בתנאי אי וודאות – בלוק 4: שיפוט והערכה בתנאי אי וודאות – בלוק 4: מאמר 8

מאמר 8 – חלק ב'- האם אלה שיודעים יותר יודעים יותר על מידת הידע שלהם?

Do those who know more

Also know nore about

How much they know?

Lichtenstein&Fischhoff

(1977)

באופן כללי צריך

להבין את הממצאיים (וכמובן את המדדים)

I                 מאפיינים שקשורים לכל הניסויים

נבדקים

  • הנבדקים היו סטודנטים אשר שולם להם כסף עבור ההשתתפות שלהם (פרט לניסוי 4)
  • כל השאלות היו דיכוטומיות שהמבנה הכללי שלהם:
  • מילה מסוימת היא : א)… ב)…
  • בכל הניסויים היו שני פריטים לתגובה
  • אחד לבחור א' או ב' לפי הניחוש הטוב ביותר שלהם
  • בעזרת דירוג מ 1 עד 5 הם דרגו את הסיכוי שלפי דעתם הם צודקים
  • בכל ניסוי בדקו
  • ממוצע ההסתברויות לאורך כל הנושאים והפריטים
  • אחוז הפריטים הנכונים לאורך כל הנושאים,
  • ההבדלים בין 1 ל 2, דבר שמודד את ביטחון היתר של הקבוצה, או ביטחון החסר של הקבוצה
  • ציור ברייר של הקבוצה וציוני ידע, הכיול, והרזולוציה
  • שני הניסויים הראשוניים חקרו את הכיול של אנשים עם ידע מוגבל
  • כל אחד מהנבדקים הנבדקים נשאל לגבי 12 ציורים:
  • האם האומן הוא ילד אירופי או ילד אסיאני
  • מה הסיכוי שהם צודקים

משימות

כלי המדידה

II              מצבים של חוסר ידע- קבוצת חסרי הידע כלל

ניסוי 1a

שיטה

  • (שישה מהציורים צוירו על ידי ילד ארופי, ושישה מהם על ידי ילד אסיאני- לפי תיאוריה מסוימת שטוענת שציורי ילדים שוויים בכל העולם, קשה להבחין בין שני סוגי הציורים)

תוצאות

  • כצפוי רק 53.2% מ 1104 התשובות שלהם היו נכונות
  • אולם הערכת הסיכוי הראתה מגמה של ביטחון מופרז (חוסר כיול וחוסר רזולוציה)

ניסוי 1b

שיטה

  • נבדקים למדו איך לקרוא את תרשים של שוק המניות (הבורסה)
  • לאחר מכן הם קיבלו נתונים של שער המניות על פני תקופה של חצי שנה של 12 מניות
  • הם נשאלו האם חודש לאחר מכן (אחרי סיום החצי שנה) מחיר המניה היה גבוה או נמוך מהמחיר בסוף התקופה שעליהם קיבלו נתונים
  • כל אחר מארבעת המבחנים כלל 6 מניות שעלו, ו6 מניות שירדו
  • גם במקרה זה, המשימה היתה קשה לאנשים ורק 47.2% מהתשובות שלהם היו נכונות
  • גם במקרה זה הם הפריזו בהערכת הידע שלהם והם הראו  מגמה של ביטחון מופרז

תוצאות

III            מצבים של ידע מועט- קבוצת הידע המועט

  • עולה השאלה האם מידה מועטה של ידע תשפר את הכיול
  • ניסוי 2 תוכנן לחקור את השאלה הזאת על ידי אימון חלקי של נבחנים לעשות  את ההבחנה המתבקשת

ניסוי 2

שיטה

  • הגירוי היה דוגמאות של ביטויים לטיניים אשר נכתבו על ידי בוגרים אמריקאים או אירופים
  • 20 דוגמאות טובות של הביטויים נבחרו על בסיס מחקר מקדים לשתי ערמות:
    • אמריקאית
    • ואירופית
    • 20 הדוגמאות הטובות חולקו מקרית לשני סטים של 10 (כל אחת כללה 5 דוגמאות אירופאיות, ו5 דוגמאות אמריקאיות)
    • בסט אחד השתמשו לגירויי אימון (כלומר ללימוד)
    • ובסט השני השתמשו כגירוי למבחן עצמו

  • 2  קבוצות קיבלו אימון במשימה הנ"ל (למדו במשך 5 דקות את גירויי האימון)
  • ואילו 2 קבוצות נבדקים לא קיבלו אימון
  • כלומר השוני היחידי בין הקבוצות היה האימון

  • כל נבדק מארבעת הקבוצות התבקש
  • לקבוע האם הדוגמא הלטינית הטובה היתה אירופית או אמריקאית
  • וכן לאמוד את הסיכוי שהוא צודק בתשובה שלו.

תוצאות

  • הקבוצה המאומנת אכן ענתה יותר תשובות נכונות מאשר הקבוצה הלא מאומנת (71.7% לעומת 51.2%) – הדבר מעיד שהמניפולציה פעלה
  • הקבוצה המאומנת (שגם ידעה יותר) הראתה יותר כיול ורזולוציה
    לעומת הקבוצה הלא מאומנת שלא הראתה עדות לכיול ולא לרזולוציה (כמו בניסוי 1)-
  • · איור 8 ב 1

IV          רמות שונות של ידע

  • האפשרות שעולה מניסוי 2, שידע גבוה יותר משפר כיול נמצא שוב בניסוי 3

ניסוי 3

שיטה

  • הגירוי היה 150 שאלות של ידע כללי בעלי תוכן מגוון
  • כל 120 הנבחנים הגיבו ל 75 פריטים מתוך 150 הפריטים

תוצאות לצרף את שלושת הגרפים

תוצאות באופן כללי
  • נבדקים מעריכים יותר את מידת הידע שלהם :
  • 63.8% : מהתשובות היו נכונות, אבל האומדן של התשובות הנכונות (לפי דעת הנבדקים) הינו  72.4

  • כמו כן באופן כללי
  • כשמשווים את בתחושות הביטחון השונות בין 0.5 ל 0.6 נמצא שלמעשה אחוז התשובות הנכונות הוא כמעט זהה
  • וכן כשמשווים את בתחושות הביטחון השונות בין 0.7 ל 0.8 נמצא שלמעשה אחוז התשובות הנכונות הוא כמעט זהה
  • § איור 8 ב 2
  • o במילים כלליות:
  • § עבור כל נבדק באופן ספציפי:
  • o ככל שנבדק יודע יותר
  • § הכיול שלו גרוע יותר
  • § והוא נוטה יותר  לביטחון יתר
  • הנבדקים חולקו לתת קבוצות לפי כמות הידע שיש להם (מספר התשובות הנכונות שלהם):
  • הטובים ביותר, הבינוניים, הגרועים.
תוצאות לפי קבוצות נבדקים (טוב, בינוני, גבוה)

  • הממצאים מראים
  • שככל שאתה יודע יותר, כך הכיול שלך יותר טוב.
  • איור 8 ב 3

  • כל הקבוצות נטו להיות עם ביטחון יתר
  • אולם ככל שלנבדקים יש יותר ידע, כך יש להם פחות בטחון יתר, והכיול שלהם נוטה להיות יותר מדויק.
  • o במילים כלליות
  • § בהשוואה בין נבדקים
  • ככל שהנבדק יודע יותר,
  • § הוא מכויל טוב יותר,
  • § והוא נוטה פחות לביטחון יתר.
  • חלוקה לפי קושי הפריטים מראה תוצאות דומות:
  • הכיול לפריטים קלים היה (טוב יותר) קרוב יותר לאלכסון
  • מאשר הכיול לפריטים הקשים.
תוצאות לפי קושי פריטים

  • נבדק הקשר בין קושי הפריטים ובין קבוצות הנבדקים השונות
  • דפוס מקביל לתוצאות שעלה (לא באופן שלם):
  • כשיש פריט קשה (מיעוט ידע) אז נבדקים נוטים לביטחון יתר
  • אולם כשיש פריט קל (כשאחוזי התשובות הנכונות לפריטים מסוימים) אז יש נטיה לביטחון חסר בתשובות.

  • האפשרות שכיול מקושר לידע תתגלה במלואה בניסוי 5
  • למעשה זהו מחקר רפליקציה על הניתוח הקודם
  • נשלחו שאלון ל64 סטודנטים מהמחלקה למוסמכים בפסיכולוגיה- 50 החזירו את השאלונים
  • הוצגו
  • 50 שאלות ידע כללים
  • ו 50 שאלות  שעסקו בידע שקשור לפסיכולוגיה

ניסוי 4

שיטה

תוצאה

  • את התוצאות שהתקבלו חילקו
  • גם את הסטודנטים לפי ידע : למצויינים ולגרועים
  • וגם את הפריטים לפי רמת קושי: קלים וקשים
  • לא עשו הפרדה בין ידע כללי לשאלות בפסיכולוגיה
  • נמצא דפוס תוצאות הדומה למחקר הקודם
  • הקבוצה עם הידע הגבוה לא קיבלה את ציון הכיול הגבוה ביותר.

V             מומחים

ניסוי 5

שיטה

  • המומחים היו 50  הבוגרים מהמחלקה לפסיכולוגיה בניסוי 4
  • ערכו ניתוח נוסף של התוצאות:
  • השוו את הכיול של
  • ה 50 פריטים שעסקו בפסיכולוגיה
  • וה 50 פריטים שעסקו בידע כללי

תוצאות

  • באופן כללי
  • תוצאות בניסוי מראות שאין עדויות לכך שמומחיות בנושא מסוים מובילה לכיול טוב יותר או לרזולוציה טובה יותר.

דיון

סיכום הדברים

  • מרכיבי חוסר הידע של אומדן הסיכוי הם
  • ביטחון יתר/ חוסר ביטחון
  • כיול
  • רזולוציה

  • האבחנה הראשונה של ממצאי מחקר זה הוא:
  • בין לא לדעת כלום
  • לבין לדעת משהו

  • אלא אשר יודעים משהו עולים בביצוע על אלה שלא יודעים כלום (ברור)

א) אלה אשר לא יודעים כלום -ממצאים פשוטים

  • § הסיטואציה של אלה שלא יודעים כלום מובילה לביטחון יתר, כיול גרוע, ושום רזולוציה

  • § במילים אחרות
  • · דווקא אלו שיש להם מעט ידע מפגינים ביטחון יתר בדבריהם, כאשר מבחינה נורמטיבית אנו מצפים לתופעה הפוכה

ב) אלה אשר יודעים משהו -ממצאים מורכבים

1) ביטחון יתר/ חוסר ביטחון

  • עם זה שהידע גדל יש ירידה בביטחון היתר
    • (כלומר ככל שיש ידע פחות בטוחים, למשל אומרים שהסיכוי לתשובה נכונה הוא 50% בעוד שאחוז התשובות הנכונות יכול להיות למשל 60%)
    • עד לנקודה שבה אחוז התשובות הנכונות עובר את ה 80%
    • (אחוז זה נמצא במחקר הנ"ל)
    • ואז נמצא מיתון של ביטחון החסר ויש בטחון יתר
      • (למשל חושבים שצודקים ב 90% ולמעשה אחוז התשובות הנכונות הוא 80%)

2) כיול מרבי

  • הקשר בין הידע לבין הכיול הוא לא מונוטוני
  • הכיול המיטבי נמצא בערך בדיוק של 80%

3) רזולוציה

  • ציון הרזולוציה לא השתנה כאשר הידע גדל.

התשובה לשאלה שהמחקר הציג היא

  • שאלה שיודעים יותר בדרך כלל  לא יודעים יותר לגבי כמה שהם יודעים

  • כיול:
  • משתפר עד לנקודה של 80% תשובות נכונות, ולאחר מכן הופך להיות גרוע שוב
  • רזולוציה
  • לא משתנה בכלל אחרי 60% מהתשובות הנכונות

  • ביטחון יתר
  • בטחון היתר מתפשט, אבל משתנה לביטחון חסר בפריטים קלים מאוד.

כיול הוא תוצאה של רגישות הנבדקים לכמה הם באמת יודעים

  • הכיול השונה עבור דרגות קושי שונות הוא תוצאה ישירה של רגישות הנבדקים לכמה הם באמת יודעים
  • עבור הפריטים שהם מאמינים שהם לא יודעים ושיש להם צ'אנס של 50% לדעת את התשובה הנכונה- השכיחות הסבירה (כלומר התשובה הנכונה ) עשויה להיות בין 0.45 לבין 0.85
  • כשהם מעריכים שהם יודעים בוודאות ומעריכים שהם צודקים ב 100% – השכיחות הסבירה (כלומר התשובה הנכונה) עשויה להיות בין 0.55-095
  • מתברר שחוסר היכולת של הנבדקים לערוך הבחנה בין הסיכויים שהם חושבים שהם יודעים לגבי התשובה הנכונה היא נפוצה (למשל אנשים יגידו שהסיכוי שהם צודקים הוא 0.75 בעוד הם למעשה מתכוונים ל 0.5)

משתנים נוספים

  • במחקר זה לא נמצאו משתנים נוספים המשפיעים על השכיחויות
  • פרט לממצא אחד:  לסטודנטים לתואר בוגר יש רזולוציה טובה יותר מאשר לנבדקים רגילים.

מסקנות המחקר (מהתקציר)

1)       למרות שאנשים דיי מכויילים, השיפוטים שלהם נוטים לטעות באופן עקבי
ההטיה השכיחה היא ביטחון יתר

2)       אנשים מכויילים באופן שונה כאשר הם פותרים בעיות ברמות שונות של קושי (כלומר פריטים יותר קשים לפתרון ויותר קלים לפתרון)

3)       כיול לא מושפע מאינטליגנציה, מומחיות.
מביטחון הנבדקים בתשובות הסתברות קיצוניות, ולפחות מכמה הבטי תוכן אשר הפריטים מוצגים

4)       הרזולוציה לא השתנתה כפונקציה של קשיים
וזאת פרט למשימות אשר לנבדקים אין ידע לגביהם.

לסיכום: מסקנות עיקריות של המאמר – לפי המורה

  • לגבי השאלה של : האם אילו שיודעים יותר גם יודעים יותר על מה שהם לא יודעים?
  • התשובה היא לא בהכרח

  • · ההבדל הבולט ביותר הוא בין אילו שיודעים משהו לבין אלו שלא יודעים כלל:
  • נבדקים שיש להם מעט מאוד ידע בתחום מסוים נוטים להפגין ביטחון יתר
  • נבדקים שיש להם יותר ידע בתחום מסוים נוטים להפגין בטחון חסר.

חזרה לשיפוט והערכה בתנאי אי וודאות

מודעות פרסומת

להשאיר תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת / לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת / לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת / לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת / לשנות )

מתחבר ל-%s

קטגוריות

%d בלוגרים אהבו את זה: