כיצד מדענים יכולים להפסיק להטעות מסטטיסטיקה

מאמר מרגש מאת דורותי בישופ הופיע ב טבע 584: 9 (2020); doi: 10.1038 / d41586-020-02275-8

איסוף נתונים מדומים יכול לחשוף דרכים נפוצות בהן ההטיות הקוגניטיביות שלנו מביאות אותנו שולל.


בעשור האחרון נעשו מאמצים רבים לקידום מחקר אמין ואמין. חלקם מתמקדים בשינוי תמריצים, כגון שינוי קריטריונים למימון ולפרסום, כדי להעדיף מדע פתוח על פני פריצות דרך מרעישות. אך יש לשים לב גם לאדם. הטיות קוגניטיביות אנושיות מדי יכולות להוביל אותנו לראות תוצאות שאינן שם. נימוקים לקויים מובילים למדע מרושל, גם כאשר הכוונות טובות.

כמה מילים על המחבר:  

פרופסור דורותי בישופ


פרופסור לנוירופסיכולוגיה התפתחותית, המחלקה לפסיכולוגיה ניסיונית; עמית מכללת סנט ג'ון


פרופסור בישופ חוקר לקויות שפה אצל ילדים. במקרים מסוימים, לקשיי דיבור יש סיבה ברורה, כגון ירידה בשמיעה או מצב כמו תסמונת דאון. במקרים אחרים, ילדים מתקשים במיוחד ללמוד לדבר או להבין שפה ללא סיבה נראית לעין. פרופסור בישופ חקר ילדים עם "ליקויי דיבור ספציפיים", או SLI, המהווים כ -3% מהאוכלוסייה אך נוטים להיות מוזנחים על ידי החוקרים. באמצעות מחקרים תאומים היא בחנה את המרכיב הגנטי של הפרעות אלה ועבדה עם גנטיקאים מולקולריים כדי לגלות באילו גנים מדובר. תמונת המקור: ויקיפדיהa


כיצד מדענים יכולים להפסיק להטעות מסטטיסטיקה

בעשור האחרון נעשו מאמצים רבים לקידום מחקר אמין ואמין. חלקם מתמקדים בשינוי תמריצים, כגון שינוי קריטריונים למימון ולפרסום, כדי להעדיף מדע פתוח על פני פריצות דרך מרעישות. אך יש לשים לב גם לאדם. הטיות קוגניטיביות אנושיות מדי יכולות להוביל אותנו לראות תוצאות שאינן שם. נימוקים לקויים מובילים למדע מרושל, גם כאשר הכוונות טובות.

החוקרים צריכים להיות מודעים יותר למלכודות הללו. כשם שמדענים במעבדה אינם מורשים להתמודד עם חומרים מסוכנים ללא הכשרה בטיחותית, אין לאפשר לחוקרים להתקרב לשום ערך P או מדד הסתברות סטטיסטי דומה עד שהוכיחו שהם מבינים מה זה אומר.

כולנו נוטים להתעלם מראיות הסותרות את השקפותינו. כאשר אנו עומדים בפני נתונים חדשים, הרעיונות הקיימים שלנו יכולים להוביל אותנו לראות מבנים שאינם קיימים. זוהי צורה של הטיה לאישור בה אנו מחפשים מידע ונזכרים במידע המתאים למה שכבר חשבנו. זה יכול להיות מותאם: אנשים צריכים להיות מסוגלים לנכש מידע חשוב ולפעול במהירות כדי לצאת מהסכנה. אך סינון זה יכול להוביל לשגיאות מדעיות.


מדידת מטען האלקטרון על ידי הפיזיקאי רוברט מיליקן בשנת 1913 היא דוגמה לכך. למרות שטען כי עבודתו כוללת את כל נקודות הנתונים מניסוי טיפת הנפט המפורסם שלו, מחברותיו חשפו נקודות נתונים אחרות ולא מדווחות שהיו משנות את הערך הסופי רק מעט אך היו נותנות לו שגיאה סטטיסטית גדולה יותר. היה ויכוח האם מיליקאן התכוון להטעות את קוראיו. עם זאת, לא נדיר שאנשים כנים מדכאים זיכרונות מעובדות לא נוחות (RC Jennings Sci. Eng. Ethik 10, 639-653; 2004).

סוג אחר של מגבלה מקדם אי הבנות בהסתברות ובסטטיסטיקה. ידענו זה מכבר שאנשים מתקשים להבין את אי הוודאות הקשורה לדגימות קטנות (A. Tversky ו- D. Kahneman Psychol. Bull. 76, 105-110; 1971). כדוגמה עכשווית, נניח כי 5% מהאוכלוסייה נגועה בנגיף. יש לנו 100 בתי חולים שבודקים 25 איש כל אחד, 100 בתי חולים שבודקים 50 איש, ו- 100 הבודקים 100 איש. כמה אחוזים מבתי החולים לא ימצאו מקרים ויגיעו בטעות למסקנה שהנגיף נעלם? התשובה היא 28% מבתי החולים הבודקים 25 איש, 8% מבתי החולים הבודקים 50 איש, ו- 1% מבתי החולים הבודקים 100 איש. המספר הממוצע של מקרים שאותרו על ידי בתי חולים זהה ללא קשר למספר המקרים שנבדקו, אך הטווח גדול בהרבה עם מדגם קטן.

קנה מידה לא ליניארי זה קשה לתפישה אינטואיטיבית. זה מוביל לזלזל עד כמה דגימות קטנות רועשות יכולות להיות ולכן לערוך מחקרים חסרי הכוח הסטטיסטי לזהות השפעה.

החוקרים גם לא מצליחים להכיר בכך שמשמעות התוצאה, המתבטאת בערך P, תלויה באופן קריטי בהקשר. ככל שאתה בוחן יותר משתנים, כך גדל הסיכוי שתמצא ערך "משמעותי" באופן שגוי. לדוגמא, אם אתה בודק 14 מטבוליטים לקשר עם הפרעה, אז ההסתברות שאתה מוצא לפחות ערך P אחד מתחת ל -0,05 - סף נפוץ בעל משמעות סטטיסטית - אינו 1 מכל 20, אלא קרוב יותר ל -1 ל 2.

איך נוכל להעביר הבנה לכך? דבר אחד ברור: הכשרה קונבנציונאלית בסטטיסטיקה אינה מספקת או אפילו מניעה מפני שהיא עשויה לתת למשתמש אמון בלתי הולם. אני מתנסה בגישה אלטרנטיבית: יצירת נתונים מדומים שתלמידים יכולים לבצע ניתוחים סטטיסטיים שונים. אני משתמש בזה בכדי להעביר שני מושגי מפתח.

ראשית, כאשר מוצגים בפני התלמידים רשומות אפס (כמו מספרים אקראיים), הם מגלים במהירות כמה קל למצוא תוצאות כוזבות שנראות "מובהקות" סטטיסטית. החוקרים צריכים ללמוד שפירוש ערך P כשנשאל, "האם A קשור ל- B?" שונה מאוד מהשאלה "האם יש קורלציות למשתנים A, B, C, D ו- E שעבורם P <0,05? השאלה אם מטבוליט מסוים קשור למחלה אינה זהה לחיפוש אחר טווח של מטבוליטים כדי לראות אם ישנם קשורים אליו, האחרונים דורשים בדיקות קפדניות הרבה יותר.

שמירה על בחינת ארבעת הפרשים של חוסר ההפקה

נתונים מדומים מספקים מידע גם כאשר הדגימות מגיעות משתי "אוכלוסיות" באמצעים שונים. התלמידים לומדים במהירות שעם גודל מדגם קטן, ניסוי יכול להיות חסר תועלת כדי לחשוף אפילו הבדל מתון. הדמיית נתונים בת 30 דקות יכולה להדהים חוקרים אם הם מבינים את ההשלכות.


החוקרים צריכים לרכוש הרגלים לכל החיים כדי להימנע מהטעיה חיובית. תצפיות הסותרות את ציפיותינו דורשות התייחסות מיוחדת. צ'רלס דרווין אמר בשנת 1876 כי נוהג "בכל פעם שאני נתקל בעובדה, תצפית או מחשבה שפורסמו הסותרים את הממצאים הכלליים שלי, כתב מייד ומיד תזכיר עליו לכתוב: מכיוון שקבעתי מניסיון כי כאלה עובדות ומחשבות היו הרבה יותר נוטות לברוח מהזיכרון מאשר לטובה ". ראיתי את זה בעצמי. בכתיבת ביקורות ספרות נחרדתי לגלות ששכחתי לחלוטין להזכיר מאמרים שנוגדים את האינסטינקטים שלי, למרות שלעיתונים לא היו פגמים מיוחדים. אני מנסה כעת לרשום אותם.

כולנו מתקשים לראות את הפגמים בעבודה שלנו - זה חלק נורמלי מההכרה האנושית. אך אם אנו מבינים את הכתמים העיוורים הללו, אנו יכולים להימנע מהם.

הדפסה