כך בודקים תשובה שקיבלנו מ-AI

מודלי שפה מייצרים תשובות על בסיס דפוסים שנלמדו מטקסטים. אין בהם מנגנון שמבטיח שכל עובדה, ציטוט או מקור נכונים, וגם תשובה מנוסחת היטב עלולה לכלול מידע שגוי או מומצא.

הטון אינו מדד לאמינות. תשובה מסויגת יכולה להיות מדויקת, ותשובה נחרצת יכולה לטעות. במקום לשאול אם המערכת נשמעת משכנעת, שואלים אילו חלקים אפשר לאמת.

אין צורך לבדוק כל משפט באותה רמה. התחילו במה שעלול לשנות החלטה, לפגוע באדם או להפיץ טעות. טענה על מועד הגשה דורשת יותר תשומת לב מהצעה לשם של מצגת.

סמנו מספרים, תאריכים, שמות של אנשים וארגונים, ציטוטים, מחקרים, הוראות חוק, מידע רפואי, תנאי מוצר וקישורים. אלה המקומות שבהם טעות קטנה יכולה להיראות מקצועית ולהמשיך הלאה.

אם התשובה טוענת שמשרד ממשלתי פרסם הנחיה, חפשו את ההנחיה באתר המשרד. אם היא מצטטת מחקר, חפשו את המאמר או את מאגר הפרסום. כתבה שמספרת על מסמך יכולה לעזור להבין, אבל היא אינה תמיד המקום הטוב ביותר לאמת את הנוסח.

אל תסתפקו בכך שכותרת המקור מתאימה. פתחו אותו וחפשו את הנתון או המשפט בתוך העמוד. בדקו מי פרסם, מתי עודכן, לאיזה מקום ואוכלוסייה הוא מתייחס, ומה נאמר לפני ואחרי הקטע.

במספרים, חזרו לנתוני הבסיס. אם נכתב ש-30 מתוך 120 הם 40 אחוז, חישוב קצר יחשוף את הטעות. אם מוצגת השוואה, בדקו שהיחידות והתקופות זהות.

בציטוטים, חפשו את המשפט המדויק. ציטוט שאינו מופיע במקור אינו הופך לאמין מפני שהוא מתאים לרעיון הכללי. אם הניסוח הוא סיכום, יש להציג אותו כסיכום ולא בתוך מרכאות.

לטענה משמעותית כדאי למצוא אישור ממקור נוסף שאינו מעתיק את הראשון. אם מדובר בכלל רחב, חפשו מקרה שבו הוא אינו עובד. דוגמה נגדית טובה מגלה במהירות ניסוח מוחלט מדי.

לא כל מחלוקת פירושה ששני הצדדים שווים. בדקו מהו המשקל של כל מקור, מה איכות הנתונים ומהו הקונצנזוס המקצועי. המטרה היא להבין את מצב הידע, לא לייצר איזון מלאכותי.

אפשר לבקש מהמערכת להפריד בין עובדות, הנחות והמלצות, לציין אילו פרטים עלולים להיות לא עדכניים ולהציע מילות חיפוש למקורות ראשוניים. הרשימה עוזרת לדעת אילו טענות צריך לבדוק ובאילו מקורות להתחיל.

נוסח אפשרי: חלק את התשובה לטענות שניתנות לבדיקה. עבור כל טענה, ציין איזה סוג מקור ראשוני יכול לאמת אותה ואילו פרטים צריך לבדוק במקור. אל תמציא קישורים או ציטוטים. לאחר מכן מבצעים את הבדיקה מחוץ לשיחה.

בדיקה טובה אינה חיפוש אינסופי. עוצרים כאשר הטענות שמשפיעות על ההחלטה אומתו ברמת ביטחון שמתאימה לסיכון. רשימת רעיונות לפעילות דורשת פחות מאמץ מהנחיה רפואית או משפטית.

אם לא מצאתם מקור לטענה מרכזית, השמיטו אותה, נסחו אותה כשאלה פתוחה או ציינו שלא הצלחתם לאמת. משפט אחד פחות עדיף על עובדה מרשימה שאינה קיימת.