שיטות מחקר - סמסטר א - הסבה - מחברת 2008-9
תודה לברכה היידי פרייסשיעור שני 12.11.08 סיום הדיון בשאלה מדוע צריך ללמוד שיטות מחקר, כללי המחקר והתחלה של משתנים. - הלימוד האקדמי מבוסס על מחקר. - אין היום כמעט תחום עיסוק שלא מתבצע בו מחקר. - עו”סים בשטח גם כן מבצעים מחקרים ולומדים מחקרים חדשים. צריך לעשות פשרות בין המחקר האידיאלי לתנאים המציאותיים של השטח. מטרת המחקר במדעי החברה היא להסביר ולנבא תופעות אנושית. משפט זה שופך אור על דרך הפעולה של המחקר, בודקים תופעות שהתרחשו כדי לנבא הופעתן של תופעות אלו. היכולת לנבא היא הסתברותית בלבד ואחת מהמטרות היא להגיע ליכולת הכללה כמה שיותר גדולה. אולם, מאחר שמדובר במדעי החברה, לעולם לא יהיה 100% של ניבוי. ישנם גורמים רבים שיכולים להשפיע על התופעה אותה אנו רוצים לנבא. למשל, תסכול גורם לתוקפנות, יהיה נכון ברוב המקרים, אולם משתנים כמו גנטיקה וחינוך משפיעים על כך. לכן, כדאי לבצע עוד מחקרים בנושא כדי לאשש את המחקר. המטרה היא לנסות למצוא סדר בתוך הכאוס של החיים. קיימים כלים מוגדרים בעזרתם מבצעים מחקר: להתבונן על נבדקים, לאסוף נתונים באופן שיטתי, למצוא קשרים בין תופעות, לבנות תיאוריות, לבדוק את התיאוריות וחוזר חלילה. מדובר בשתי תכונות של המחקר המדעי : אובייקטיביות ואמפיריות. באובייקטיביות הכוונה לכך שהמדידה עצמה צריכה להיות נקייה משיקולים של אידיאלים, אמונות, דת והטיות שונות. המחקר צריך להיות נקי משיפוטים חברתיים. אחת הדרכים לדאוג לאובייקטיביות היא שיוכלו לעשות למחקר רפילקציה (שיחזור). על החוקר לדווח על פרטי המחקר, על השיטות, על הנבדקים ועל תנאי המחקר כדי שכל אחד שינסה לעשות את אותו המחקר באותם התנאים יגיע לתוצאות זהות. באמפיריות הכוונה היא טענות שניתן להפריך או לאושש אותן דרך מחקר. מה שלא יכול להבדק במחקר (שלא ניתן לכמת אותו) הוא לא טיעון אמפירי. למשל, עליה בהשכלה מביאה לירידה בילודה, וגם הטענה שתסכול מביא לתוקפנות גם אותה ניתן להגדיר ולמדוד בצורה אמפירית. טענות הן אמפיריות גם אם הן לא נכונות. אולם ישנן טענות לא אמפיריות בעליל, כמו האם שדים ורוחות קיימים או לא קיימים. “פסלי שיש יותר יפים מפסלי ברונזה” היא טענה לא אמפירית, אולם, “רוב האנשים מעדיפים פסלי שיש” היא טענה אמפירית. “במצב של תעסוקה מלאה אין מובטלים” היא טאוטולוגיה, שתי הטענות הן זהות ולא מדובר בטענה אמפירית. המחקר מנסה להבין, להסביר, לנבא ולשלוט בתופעות ולהגיע בסוף (על ידי כמה מחקרים) להכללות. הגישה המדעית עובדת באופן שיטתי במספר שלבים:
- יש לנסח בעיה. עלינו להיות במצב שמשהו אינו ברור לנו עליו אנו רוצים ברור. למשל לגבי תוקפנות, השאלה הבסיסית היא מה מביא אדם לידי תוקפנות.
- השלב הבא הוא לשער איזושהי השערה. להגדיר חוק כללי שמקשר בין שני משתנים. כמו תסכול מביא לתוקפנות
- לנסח היקש, אופרציונאליזציה, להגיד איך נוכל באופן אמפירי לבדוק את השערת המחקר. כמו למשל להחליט שנעמיד אנשים בפני אותה צלחת של סוכריות ונאמר להם לא לאכול ואחר כך נספור כמה פעמים הם קיללו בחצי שעה.
- לאחר מכן נערוך את המחקר.
- ובסוף נסיק מסקנות מהמחקר.
מתאם וסיבתיות זה שיש קשר בין משתנים לא בהכרח אומר שיש קשר של סיבתיות. גם שמוצאים קשר בין משתנים יכול להיות שמשתנה אחד קדם בזמן לשני, יכול להיות שהם התרחשו בו זמנית , יכול להיות שהקשר הפוך. ז”א זה לא מלמד אותנו על סיבתיות, צריך להוכיח כדי שנוכל להגיד שיש קשר סיבתי. קשר סיבתי בין שני משתנים יכול להיות A B
דוגמאות: נערך מחקר בארה”ב שהתגלה בו מתאם שלילי מובהק בין מס' התלמידים לבין ההישגים שלהם. ז”א ככל שמס' התלמידים בכיתה יורד כך ההישגים עולים. A מס' התלמידים בכיתה B הישג ניסיונות להסביר את הממצאים:
- הורים של תלמידים בעלי הישגים גבוהים נוטים לשלוח את תלמידיהם לבתי ספר פרטיים שבהם לומדים מספר קטן של תלמידים בכיתה.-קשר ישיר בין B ל A ההישג הגבוה גרם לכך שהם נשלחים ללמוד בכיתות קטנות
- בכיתות גדולות יורד ההישג הממוצע- קשר ישיר בין Aל-B הכיתות הגדולות גורמת להישגים נמוכים.
- בכיתות גדולות יש למורה פחות זמן להתייחס לכל תלמיד ולכן התלמידים משיגים פחות בממוצע- קשר של תיווך A גורם ל C שגורם ל B. בגלל שהכיתות גדולות יש למורה פחות זמן ואז זה גורם להישגים נמוכים.
- הורים מהמעמד הבינוני ומעלה מעודדים את ילדיהם להצליח בבית הספר ורושמים אותם לבתי ספר טובים שבהם הכיתות קטנות, הורים מהמעמד הנמוך אינם מכוונים את ילדיהם לבית ספר כזה או אחר.- זה קשר עקיף. C- הורים ממעמד סוציו אקונומי הם גם רושמים אותם לבתי ספר טובים יותר וגם מעודדים אותם להצלחה, הם אלה שיוצרים את שני התנאים במקביל. C גורם גם ל A וגם ל B.
האסטרטגיה המחקרית היא מערך המחקר, התכנון העקרוני של איך עומדים להשיג את מטרות המחקר נקרא מערך מחקר. הדברים שלובים זה בזה. לפי המערך מעריכים את המטרות ולפי המטרות עושים את המערך. מבחינים בין מערך מתאמי לבין מערך ניסויי. במערך ניסויי החוקר עצמו מתפעל את המשתנה הבלתי תלוי על מנת לבחון תגובה במשתנה התלוי. דוג'- נגרום לאנשים תסכול ע”י זה שלא ניתן להם לאכול מאכל אהוב ואז נבדוק את מידת התוקפנות ונעשה גם קבוצת ביקורת של ילדים שלא תוסכלו. כך אנחנו יכולים ליצור מגוון של רגשות, התנהגויות, תחושות. המשתנים שתפעלנו אותם במחקר נקראים משתנים מתופעלים. החוקר יוצר שתי קבוצות לפחות שיש בין שתיהן הבדל של קבוצה אחת שנחשפה לתפעול וקבוצה אחת שלא נחשפה לתפעול. אם חוקר רוצה לבחון האם יש הבדלים בין גברים ונשים במידת שביעות הרצון שלהם מחיי הזוגיות. המשתנה הבלתי תלוי הוא המין. זהו במערך מתאמי, הוא לא תפעל את המחקר הוא רק צפה במציאות. במקרים אלה אנחנו רואים חוקר שבחן משתנה שהנבדקים הגיעו איתו מראש למחקר, הוא רק צפה בו. המשתנים האלה שאיתם מגיע הנבדק למחקר נקראים משתני ייחוס . דוג': גיל, מוצא, אינטליגנציה, עמדות שונות. העניין הוא איזה תפקיד המשתנה לוקח במחקר. יש משתנים שתמיד יהיו ייחוסים כמו גיל ומין. חשוב לדעת שיש מחקרים ניסויים שיש בהם משתני ייחוס ניסוי נחשב עם הרבה שליטה, זה בדרך כלל נעשה במעבדה והחוקר יוצר תסריט שלם. מצד שני הוא הרבה יותר מורכב והוא הרבה פחות קשור למציאות כי אנחנו יוצרים מציאות משלנו.
שיעור שישי 10.12.08 איסוף נתונים וסולמות מדידה שיטות לאיסוף נתונים:
- באמצעות תצפיות- לצפות בהתנהגות, אפשר שזו תהיה תצפית על התנהגות טבעית, או התנהגות מובנית, בדרך של נתינת מטלה כלשהי לקבוצת הערכה מסוימת. יש התנהגויות שמשפיעים ומתערבים בתצפית. למשל ע”י התערבות בין משחק בין הורים וילדים.
- שאלונים וראיונות- לא תמיד החוקר יכול או רוצה רק לצפות בהתנהגות. לא בכל דבר ניתן לצפות.ישנם סוגים שונים של שאלונים: שאלונים פתוחים (שאלות על העדפות, מחשבה על דברים) ויש שאלונים סגורים (שהם רק צריכים לסמן, או שאלון דירוגי). מה שמבחין בין סוגים שונים של ראיונות הוא מידת המובחנות שלהם. שאלון מובנה- השאלות צריכות להיות קבועות ומסודרות לפי סדר קבוע. ישנם סוגי ראיונות שונים: ראיונות עומק- המראיין יותר זורם עם המרואיין שלו, ואין סדר מסוים שהוא מכתיב. המהות היא לנסות להבין את הנבדק כמה שיותר. ראיון חצי מובנה- שהוא באמצע מבחינת הרצף- יש בו את כל השאלות, אין מקום לזרום עם הנבדק לאיפה שהוא לוקח אותנו אך יש גמישות.הדבר שהכי קריטי הוא איכות המראיין, ראיון מובנה יכול לעשות מראיין שהוא לא מאוד מיומן לעומת ראיון עומק שצריך להיות מראיין מאוד מיומן. (במחקר כמותי- צריך להקיף שאלה מסויימת, במחקר איכותני- צריך להשיב במלל, להשלים אסוציאציות).
- ניתוח חומר קיים- למשל ניתוח קבצים קיימים, נתונים שנאספו עבור מטרות אחרות. כמו עבירות תנועה הנאספות במשרד התנועה. ניתן גם לנתח חומרים קיימים שלא נועדו לצורך סטטיסטיקה, כמו חומר בעיתונות, ספרות, חוות דעת על קורסים מסויימים. זה יכול ללמד אותנו על הלך הרוח בתקופה מסוימת, לדוג' מעמד האישה לפי ספרות ילדים.
מדידה מדידה- ייחוס של מספרים לאובייקטים או לאירועים בהתאם לחוקים מסוימים. המספרים משקפים כמות, גודל, או תכונה של אובייקט, כמו אורך, משקל, עוצמה. ואז ניתן לדבר על יחסים בין המספרים האלה. אנחנו רוצים גם ללמוד מהמספרים האלה לא רק על מספר מסוים אלא שהוא יעמוד מאחורי פרופורציה מסוימת. למשל אם מישהו חביב יותר הוא יקבל מס' 5 ואם מישהו חביב פחות הוא יקבל את מס' 4. השאיפה שלנו היא להגיע למצב שכל מספר מקבל משמעות. אחד מהמאפיינים שבאמצעותם ניתן לתאר מדידה הוא סולם המדידה:
- נומינלי- שמי- סולם שבו אנחנו נותנים מספר או שם לאובייקט שאין לו שום מהות, חוץ מזה שהוא מסמל זהות או שוני. למשל אם אני אתאר מצב משפחתי אז מי שמקבל את הספרה 1 הוא רווק ומי שקיבל את הסיפרה 2 הוא נשוי. וזה לא אומר כלום מעבר לכך, ולכן גם ניתן לשנות את המספרים ובלבד שלא בחרת את אותו מספר לשני ערכים שונים.
- אורדינאלי-סדר- מאפיין משתנה שלערכיו יש חשיבות לסדר שבו הם מופיעים. למשל: ריבוד חברתי, בהשוואה בין מעמד נמוך לבין גבוהה נגיד שהמעמד הגבוהה הוא יותר גבוה מהבינוני , והבינוני יותר גבוה מהנמוך. ניתן לדעת מעבר לשוני, ולהסיק שמי שסימן אחד הוא יותר גבוהה במעמד מאשר מישהו שסימן 2. פה לא ניתן לתת כל מספר שהוא.
- אינטרוואלי- רווח- ניתן להקיש מהמספרים על התכונות עצמן. ניתן ללמוד על ההפרש בין הערכים ההפרש בין המספרים מלמד על ההפרש או הגודל של התכונה עצמה. דוג' טמפרטורה- ההפרש בין יום שיש בו 30 מעלות ל-20 מעלות הוא אותו הפרש אם יהיה 20 מעלות ל-10 מעלות. ה-0 המוחלט קיים בסולם מנה. כשה-0 מייצג משהו כמו מידת קור מסוימת, או משהו שרירותי אחר. הוא מייצג תכונה. למשל טמפרטורה 0 זה אומר שזה מייצג תכונה שהיא נקודת הקפיאה, אך 0 משקל מייצג שאין משקל.
- רציונאלי- מנה- יש בו 0 מוחלט שמייצג כלום, אפשר לעשות פעולות של כפל וחילוק. כל אחד מהם מכיל בתוכו את הסולם שלפניו.
- צבע עיניים- נומינלי
- הזמן בו אדם קורא רשימה של מילים שמתארות רגשות- רציונלי
- ההכנסה החודשית של משפחה בשקלים- רציונלי
- השכלה אקדמית, תיכונית, יסודית- אורדינלי
דוגמאות להשערות- משתנים וסולמות מדידה:
- “ככל שיורדים יותר גשמים כמות תנובת השדה גדלה” בלתי תלוי- גשמים. תלוי- תנובת השדה. שני המשתנים הם רציונאליים.
- “תושבים בשכונות מצוקה מרווחים פחות מתושבים בשכונות מבוססות” בלתי תלוי- רווח תלוי- שכונה. השכונה היא נומינלי, הרווח הוא רציונלי. זה יכול להיות גם ההיפך, זו שאלה פילוסופית
- “תושבי תל אביב תומכים בשינוי שיטת הבחירות יותר מאשר תושבי הגליל” בלתי תלוי- מקום מגורים- נומינלי, תלוי- תמיכה בשינוי- אורדינלי.
- “ככל שמשקיעים יותר בלימוד לבחינות הציון שמקבלים גבוה יותר” בלתי תלוי- השקעה. תלוי- הציון. שניהם רציונלים.
- “ככל שיש לאדם יותר חברים ביטחונו העצמי גבוה יותר” בלתי תלוי- חברים- רציונלי. תלוי- ביטחון עצמי- אורדינלי.
- “גברים מעדיפים לנהוג במכוניות שחורות ונשים מעדיפות לנהוג במכוניות אדומות” בלתי תלוי- מין . תלוי- צבע מכונית. שניהם נומינלי.
- “תקציב הביטחון קטן בעיתות שלום וגדל בעיתות מלחמה” בלתי תלוי- מצב ביטחוני-נומינלי. תלוי- תקציב הביטחון רציונלי.
- “העדפות המוזיקליות של האדם מושפעות מהעדפות המוזיקליות של חבריו” בלתי תלוי- טעם המוזיקלי של החברים, תלוי- העדפה מוזיקלית של האדם-שניהם נומינלי.
שיעור שביעי 17.12.08 מהימנות מהימנות ותוקף קשורים למדידה. כשאומרים מהימנות הכוונה היא שהמדידה הייתה מושלמת. המדידה המהימנה משקפת באופן מושלם את המציאות או את ערכיו האמיתיים של המשתנה. אולם, לעיתים מה שניתן למדוד הוא לא הערך האמיתי של התכונות שמודדים אלא את הערך הנצפה. למשל משקל מודדים במאזניים, ואנו מאמינים שהמדידה במאזניים משקפת את הערך האמיתי, למרות שבמקומות שונים בבית המשקל שונה, ואולי האיפוס לא נכון. אם היינו עושים המון המון מדידות, היינו יכולים להגיע לערך המדויק המוחלט. בין הערך האמיתי לנצפה יש את משתנה הטעות. בכל מדידה תמיד ישנו פוטנציאל לטעות. טעות זו יכולה להיות קבועה, כמו למשל מאזניים שבאופן קבוע מאופסות למאה גרם יותר מהערך האמיתי. טעות קבועה זו ניתן לתקן, מה שלא ניתן לתקן בכזו קלות הם טעויות מקריות. כדי לקבל הערכה של הטעויות המקריות, נוצרו כלים למדידה שיקחו זאת בחשבון. מדידה מדויקת באה לידי ביטוי כאשר הערך הנצפה קרוב ככל האפשר לערך האמיתי. כלומר מדידה היא מדויקת ככל שערך הטעות קטן יותר, במילים אחרות, ככל שהמתאם בין הערך הנצפה לאמיתי גדול יותר המדידה יותר מדויקת. אנו שואפים שהמתאם יהיה אחד, כלומר קשר מושלם. ככל שהשונות בין מדידות שונות של אותו משתנה גדולה יותר, כך הטעות גדולה יותר. מהימנות היא היחס שבין השונות האמיתית לשונות הנצפת והיא מבוטאת על ידי מקדם מהימנות שיכול לקבל ערכים מ0 (כשאין כל מתאם) לבין 1 (כשהמתאם מושלם) שאומר שהמדידה הייתה מושלמת ולא נפלה כל טעות בין הערך הנצפה לאמיתי. השאיפה היא כמובן למינימום טעויות. המדדים של מדידת מהימנות במדעי החברה נולדו מתוך המבחנים הפסיכולוגים וישנם מספר דרכים לבדיקה:
- יציבות המדידה- מאחורי שיטה זו עומד הרעיון שהמבחן יהיה יותר מהימן ככל שהמתאם בין שתי מדידות שלו יהיה גבוה יותר. (למשל נותנים לאדם מבחן אישיות ואחרי מעט זמן נותנים לא את אותו מבחן, אם המהימנות של המדידה תהיה גבוהה, התוצאה תהיה כמה שיותר קרובה) אנו צופים שישנם גורמים סביבתיים העלולים להשפיע על תוצאות המבחן, ולכן אנו מחפשים שהמתאם בין שני הציונים יהיה גבוהה אם המבחן מהימן למרות שיכולה להיות סטייה קטנה. אם המדידה תהיה שונה בשני המבחנים, המהימנות תהיה נמוכה. הטכניקה של יציבות המדידה נקראת מבחן חוזר test-retest, כאשר המדד שבודק הוא מתאם. הבעיה עם שיטה זו היא ראשית, שאם יש בעיות בשאלה מסוימת, אם נעביר אותו שוב לא נוכל לעלות על כך שהשאלון לא מדויק בתוכו. הבעיה השנייה נובעת מעצם השיטה של להעביר את אותו המבחן פעמיים, כלומר שהמענה בפעם הראשונה השפיע על המענה בפעם השנייה (למשל, במקרה של למידה, או אלו שמנסים לזכור מה הם ענו בפעם הקודמת)
- אקוויוולנטיות\ מקבילות- הכוונה היא שנכין שני נוסחים דומים ומקבלים לאותו מבחן, ונעביר בפעם אחת שני נוסחים שונים של אותו מבחן. מגבלה רצינית היא שמאוד קשה לבנות נוסחים מקבילים, וישנם הרבה תנאים מקדימים כדי ליצור אותם. עוד קושי הוא שצריך גם פי שתיים יותר שאלות טובות הבודקות אותו דבר, עם התפלגויות זהות וכו'. הטכניקה היא נוסחים מקבילים ואנו מקווים גם כן למצוא מתאם גבוה.
- עקביות פנימית\ מהימנות פנימית- זו השיטה הכי מקובלת במדעי החברה. שיטה זו מבוססת על ההנחה ששאלות הן מדגם אפשרי של התכונה הנבדקת. אם השאלות מודדות אותו דבר, אנו נצפה לראות מתאם גבוה בין כל שאלה אחת לאחרת ובין כל שאלה לציון הכללי. זה עובד רק כשהשאלון הומוגני וכל השאלות הן מאותו תחום. מאחורי המבחן עומדת הנחה שכל הפריטים משתייכים לאותו עולם תוכן. שיטת החישוב של עקביות פנימית היא α של קונבך. חישוב זה הוא גם בין 0-1. ככל שהמתאם בין פריטים שונים של אותו המבחן גבוהה יותר, כך המבחן מהימן יותר. היתרון של המבחן הוא שמעבירים אותו רק פעם אחת, החיסרון הוא גם כן החד פעמיות, כלומר, אם ישנו גורם חיצוני שהשפיע על הנבחן, לא נוכל לדעת זאת רק ממבחן אחד. כדי להתגבר על זה, יש לתת את המבחן למדגמים שונים של אנשים, ואם הציונים נמשכים אותו הדבר והמתאם הפנימי נשאר זהה, ניתן לומר שאכן ישנה עקביות פנימית.
- מבחן חצוי- זה אם ניקח מבחן ונחלק את שאלותיו באופן אקראי לשניים, אם המהימנות גבוהה יהיה מתאם גבוהה בין שני חצאי המבחן. ההגיון מאחורי זה הוא כמו של העיקביות הפנימית. (אם מבחן מסודר לפי רמות קושי, לא ניתן לעשות עקביות פנימית וגם לא מבחן חצוי)
- מהימנות בין שופטים – אם יהיה דמיון בציון שהמראיינים נתנו נגיד שהכלי הוא מהימן. אך אם תהיה שונות גדולה בין המראיינים נוכל לדעת שהראיון / הכלי לא היה מדויק ומהימן.
שיעור שמיני 24.12.08
סוף מהימנות ותחילת תוקף
לא לכל המבחנים מתאימים כל סוגי המהימנות : כשהשאלון הומוגני - כלומר בודק תכונה אחת, עדיף להשתמש בשיטת העקביות הפנימית. כשהשאלון הטרוגני - בודק כמה תכונות, ניתן לקחת כל עולם תוכן ולבדוק מהימנות פנימית, אך לא ניתן לעשות לכולם יחד, אבל אז כל עולם תוכן הוא הומוגני. לכן כשהמבחן הטרוגני עדיף להשתמש ביציבות המדידה.
מה נחשבת מהימנות טובה ? 0.7 ומעלה נחשבת מהימנות טובה, יותר קל להשיג מדד גבוה במהימנות פנימית בגלל שיטת החישוב שלה.
לדוגמא – בשאלון שחיקה לעובדים, כדאי להשתמש במהימנות עקביות פנימית. כי יש רק דבר אחד שנבדק. מבחן בו מתבקש הנבחן לצייר כמה שיותר צורות גיאומטריות בזמן מוקצב, יש מגבלה של מהירות ולכן ניתן להשתמש ביציבות המדידה.
תוקף תוקפה של מדידה הוא המידה שבה היא מודדת את מה שהיא אמורה למדוד, האם המדד אכן בודק את התכונה שאנו בודקים. במילים אחרות, עד כמה יש הלימה בין ההגדרה התצפיתית (אופרציונלית) להגדרה הנומינלית. האם הכלי באמת נותן מענה למשתנה התיאורטי. חובת החוקר להוכיח שהכלי אכן מודד את מה שהוא התכוון למדוד. לדוגמא - מידת הזעה או דופק כמדד למידת החרדה, נבדוק מידת הזעה במצבים שונים ונדע מתי הוא חרד. אבל ההזעה היא לא בהכרח בגלל החרדה היא יכולה להיות בגלל התרגשות. ישנם שלושה סוגי תוקף- ניבוי, תוכן ומבנה ומספיק לבדוק רק אחד מהסוגים.
תוקף ניבוי - הרבה פעמים מודדים משתנה אחד כדי לאמוד באמצעותו משתנה אחר, (פסיכומטרי כדי לאמוד מידת הצלחה בלימודים). תוקף המדידה יהיה מידת ההצלחה של הפסיכומטרי באמת לנבא את ההצלחה בלימודים בסוף התואר הראשון. המשתנה המנבא הוא המדד ואותו נרצה להוכיח שהוא תקף (הפסיכומטרי), והמשתנה המנובא יהיה הקריטריון שזה התוצאה הסופית של משהו(הישגים בלימודים). זה בא הכי הרבה לידי ביטוי במבחני התאמה למקום לימודים / עבודה. יש שמות שונים לתוקף ניבוי והם שונים באשר לשאלה מתי בודקים את המדד ומתי את הקריטריון. כשהקריטריון נמדד לפני המשתנה המנבא יהיה תוקף לאחר מעשה, למשל רוצים למצוא מבחן שינבא הצלחה בתפקיד ניהולי, ניקח קבוצת מנהלים טובים שיש עליהם הסכמה שהם טובים, וניקח מנהלים פחות טובים. יש לנו את הקריטריון כי כבר ידוע אם הם טובים או לא, אם המנהלים הטובים יקבלו ציון גבוהה במבחן והמנהלים הפחות טובים יקבלו ציון נמוך במבחן, ניתן לומר שהמבחן, כלומר המדד בעל תוקף גבוהה. הקלאסי של ניבוי הוא כשמדד נמדד לפני הקריטריון תוקף ניבוי, כמו למשל בפסיכומטרי נבדוק אחרי 3 שנים האם התלמידים עם הציון הגבוה קיבלו ציונים גבוהים בתואר ראשון. כלומר הקריטריון נבדק לאחר המדד. התואר הראשון הוא הקריטריון והפסיכומטרי הוא המדד המנבא. דוגמא נוספת היא הבדיקה המורפולוגית לפני תחילת העבודה. כשהקריטריון והמדד נבדקים ביחד מדובר בתוקף בו זמני, אם פיתחנו מבחן אינטליגנציה קצר מהרגיל ואנו רוצים לבדוק האם הוא אכן מודד אינטליגנציה אז אני מעבירה את המבחן החדש והקצר והישן בו זמנית.
שיעור תשיעי 14.1.09 המשך של תוקף אנו שואלים אם הכלי שלנו אכן בודק את המושג התיאורטי אותו רצינו לבדוק. אמרנו שחשוב לדעת באיזה קונטקסט הכלי מודד טוב, ואם הוא מודד טוב בקונטקסט הספציפי. תוקף תוכן- לפעמים מבחן צריך לבדוק כישורים או ידע של אדם, ולא אמור לנבא כלום או להיות אומדן למשהו אחר, כמו מבחן בשיטות מחקר. בתיקוף כזה, בודקים אם המבחן אכן בודק את עולם התוכן אותו רוצים לבחון. מדובר בתוקף התרשמותי, והוא עונה על השאלה, האם המבחן בוחן את כל עולם התוכן שהוא אמור לבדוק. ישנה שיטה שנקראת שיטת השטחות והיא בודקת תוקף תוכן. תוקף מבנה- עושים שימוש בתוקף מבנה כאשר אין הסכמה בין חוקרים לגבי משתנה מסוים (לגבי ההגדרה האופרציונאלית שלו). כשאין הסכמה כזו צריך הוכחה של תוקף מבנה. למשל אם נרצה אופרציונאלית להגדיר זמן תגובה בתור הזמן שעבר מאז הצגת הגירוי ועד הצגת התגובה. אולם, כשמדברים על משתנים יותר פסיכולוגים, לא תהיה התאמה והסכמה בין דעות החוקרים, והם דורשים הגדרה ברורה של מה רוצים לבדוק, צריך שיהיה משהו שיסדיר את המעבר מההגדרה התיאורטית להגדרה האופרציונאלית. במילים אחרות, שהכלי שהצעתי אכן מודד את מה שאנו רוצים למדוד. למשל מישהו שמודד אינטליגנציה צריך להוכיח מדוע הכלי שהוא בנה מודד את המושג הזה. כדי לבדוק אם יש הלימה בין המשתנה התצפיתי לבין המשתנה התיאורטי (בין הנומינאלי לתיאורטי) יש לענות על שתי שאלות: 1. שאלת המיצוי- באיזה מידה המשתנה התצפיתי ממצה את מרכיבי המשתנה התיאורטי? 2. שאלת הבלבדיות- באיזה מידה המשתנה התצפיתי בודק רק את מרכיבי המשתנה התיאורטי ולא מרכיבים שלא רלוונטיים? למשל המשתנה של מעורבות משפחתית שמוגדר נומינאלית על ידי מידת הקשר בין הפרט למשפחה. ההגדרה האופרציונאלית ניתן לומר מספר השעות שהורים מקדישים למשחק עם ילדיהם. יש לשאול עצמנו, האם ההגדרה האופרציונאלית ממצה את כל המרכיבים של ההגדרה הנומינאלית והתשובה תהיה לא, מכיוון שישנם שאלות רבות נוספות שניתן לשאול כדי לבדוק מידת קשר בין הפרט למשפחתו. השאלה השנייה היא האם ההגדרה האופרציונאלית בודקת רק את ההגדרה הנומינאלית, למשל כששואלים כמה הם משחקים עם הילדים גם עונים על השאלה כמה שעות פנאי יש להם, וזו שאלת הבלבדיות. דוגמאות משתנה – רמת דתיות הגדרה נומינאלית – מידת הדבקות במצוות הדת הגדרה אופרציונאלית- האם שומרים על כשרות
- מיצוי- הוא אינו ממצה מכיוון שישנם עוד מצוות רבות שזה אינו בודק
- בלבדיות- גם לא מכיוון שיכולות להיות סיבות נוספות שאנשים שומרים על כשרות.
- מיצוי- זה לא ממצה מכיוון שלא בודק את כל תחומי החיים, אלא רק את התחום החברתי.
- בלבדיות- זה אינו בלבדי כי זה יכול להעיד על האופי שלו, על מידת הפתיחות שלו ועל דברים נוספים מלבד ההיקלטות שלו.
שאלון בדיקת התקשרות אצל ילדים בין 6-12 בודק שלוש דפוסים של נמנע, חרד- אמביוולנטי ובטוח. השאלון נבנה לאחר שבדקו לעומק את דפוסי ההתקשרות אצל פעוטות, בהמשך המחקר בדקו גם התקשרות של מבוגרים ומצאו דמיון לדפוסי ההתקשרות של פעוטות. מיקולינסר פיתח שאלון של 15 פריטים שכל חמישה פריטים מייצגים דפוס התקשרות מסוים. ד”ר פינצי דותן רצתה לפתח שאלון שיהיה מותאם לילדים, גם לשאלון זה היו 15 פריטים, הם רצו לבדוק שלשאלון החדש יש תוקף ומהימנות. מהימנות- מאחר שהשאלון הטרוגני, בדקו עקביות פנימית לכל אחד מעולמות התוכן בנפרד: בטוח האלפא היה 0.67, חרד אמביוולנטי האלפא היה 0.75 ולנמנע 0.80. הם בחנו גם את יציבות המדידה, הם הציגו לילדים את השאלון, והציגו אותו שוב אחרי שבועיים, והם מצאו כעבור שבועיים לדפוס הבטוח מתאם של 0.94 לחרד אמביוולנטי מתאם של 0.87 ולנמנע 0.80 כלור, המתאם מאוד גבוה המעיד על יציבות מדידה גבוהה ומהימנות גבוהה. תוקף- נבדק תוקף ניבוי . השוו בין תוצאות השאלון לשאלונים אחרים. היו מחקרים אצל מבוגרים שדפוס חרד מתקשר לתכונה של חרדה, ומצאו שדפוס נמנע מתקשר לדיכאון והסתגרות ולדפוס הבטוח ציפו שתהיה התאמה שלילית גם בין השאלון לדיכאון וגם לתכונת החרדה.
| בטוח | חרד | נמנע | |
| חרדה | 0.41- | 0.48 | 0.28 |
| דיכאון | 0.64- | 0.25 | 0.51 |
מהתוצאות שהתקבלו ניתן לומר שיש תוקף ניבוי גבוה ושהשאלון אכן בודק את מה שהוא אמור למדוד. זה היה תוקף ניבוי בו זמני.