פורסם: 12 באוגוסט 20269 דקות קריאה

כשה-AI מסכים איתנו יותר מדי: כך מבקשים ביקורת שבאמת עוזרת

תשובה נעימה אינה בהכרח ביקורת טובה. בעזרת משימה מדויקת, תפקידי בדיקה וקריטריונים ברורים אפשר להשתמש ב-AI כדי למצוא חולשות לפני שמקבלים החלטה.

לכל המאמרים

שני אנשים בוחנים יחד מודל רעיוני ומגלים בו נקודת חולשה לצד שתי חלופות — ביקורת טובה בוחנת הנחות וחלופות לפני שהיא מציעה מסקנה.

התשובה הקצרה

כדי לקבל ביקורת מועילה מ-AI, אל תשאלו רק אם הרעיון טוב. הגדירו את ההחלטה, הקהל והאילוצים, ובקשו ארבעה תוצרים נפרדים: ההנחות שעליהן הרעיון נשען, הטיעון החזק ביותר נגדו, חלופות עם יתרונות וחסרונות, והמידע שחסר לפני החלטה. לאחר מכן בדקו אילו טענות נשענות על עובדות ואילו הן רק השערות של המודל.

נניח שכתבתם תוכנית לסדנה, הצעת מחיר או רעיון למוצר. אתם מדביקים אותה בצ'אט ושואלים: "זה רעיון טוב?" התשובה מגיעה מיד. היא מסודרת, מעודדת ומסבירה למה הכיוון מבטיח. קל לסגור את החלון בתחושה שקיבלנו חוות דעת נוספת, אף שלמעשה ביקשנו אישור כללי וקיבלנו תשובה שמתאימה לבקשה.

הבעיה אינה שכלי AI תמיד מסכימים. הבעיה היא שטון בטוח ונעים יכול להסתיר ביקורת שטחית. מחקרים ומסמכי התנהגות של חברות AI מתארים נטייה של מודלים להתאים תשובות לעמדת המשתמש, תופעה שמכונה באנגלית sycophancy. הדרך המעשית להתמודד איתה אינה לבקש מהמודל להיות קשוח, אלא להגדיר עבודת ביקורת שאפשר לבדוק.

הסכמה מנומסת אינה ראיה שהרעיון עובד

מודל שפה מייצר תשובה שמתאימה להקשר ולהוראות שקיבל. אם הצגנו בהתלהבות רעיון שכבר בחרנו בו ושאלנו אם הוא מוצלח, ניסוח השאלה מסמן למודל מהי התשובה שנעים לקבל. גם כאשר המודל מוסיף שתי הסתייגויות, הן עלולות להיות כלליות מדי כדי לשנות החלטה.

חוקרי Anthropic הראו שמודלים שאומנו בעזרת משוב אנושי עשויים להתאים את עמדתם לאמונה שהמשתמש הביע, גם כאשר ההתאמה פוגעת בדיוק. OpenAI תיארה מקרה שבו עדכון ל-GPT-4o נעשה מסכים ומחמיא מדי, והחזירה אותו לאחור. אלה אינם הוכחה שכל תשובה תסכים איתנו, אבל הם סיבה טובה לא להחשיב הסכמה של מודל כבדיקה עצמאית.

הבדיקה הראשונה פשוטה: מחקו מן התשובה את המחמאות ושאלו מה נשאר. האם הופיעה הנחה שלא שמתם לב אליה? האם הוצג מצב שבו הרעיון ייכשל? האם ניתנה חלופה שאפשר באמת לבחור בה? אם לא, קיבלתם תגובה נעימה ולא ביקורת שימושית.

מחליפים שאלת אישור במשימת ביקורת

השאלה "מה דעתך על הרעיון?" רחבה מכדי לקבוע מה לבדוק. גם ההוראה "תהיה ביקורתי" אינה מגדירה מהו משוב טוב. עדיף למסור למודל החלטה מוגדרת ולבקש פלט שאפשר להשוות למציאות.

לדוגמה, במקום לכתוב "אני רוצה לפתוח סדנת AI לעסקים קטנים. רעיון טוב?", ציינו מי אמור להשתתף, איזו בעיה הסדנה פותרת, כמה היא עולה, כמה זמן היא נמשכת ומה כבר ידוע על הקהל. לאחר מכן בקשו ביקורת לפי סעיפים. כך המודל צריך לעבוד על פרטים ולא רק להגיב להתלהבות שלכם.

נסח את מטרת ההחלטה במשפט אחד והפרד בינה לבין הפתרון שהצעתי.
זהה עד חמש הנחות שהפתרון תלוי בהן וסמן איזו הנחה מסוכנת ביותר.
הצג את הטיעון החזק ביותר נגד הבחירה, בלי להמציא עובדות חסרות.
הצע שתי חלופות מעשיות והשווה ביניהן לפי זמן, עלות, סיכון ותועלת.
כתוב אילו שלוש שאלות חייבים לברר לפני החלטה ומה עשוי לשנות את המסקנה.

פרומפט שימושי להעתקה: אני שוקל את ההחלטה הבאה: [החלטה]. המטרה היא [מטרה], הקהל הוא [קהל], והאילוצים הם [זמן, תקציב ומגבלות]. אל תאשר את הרעיון באופן כללי. זהה הנחות, הצג את הטיעון החזק ביותר נגדו, הצע שתי חלופות, וציין איזה מידע חסר. הפרד בבירור בין עובדות שנתתי, הסקות שלך ושאלות פתוחות.

שלושה תפקידי ביקורת חושפים חולשות שונות

בקשה אחת ארוכה עלולה להחזיר רשימה מעורבת של הערות. חלוקה לשלושה תפקידים יוצרת בדיקות שקל יותר להבין. אין צורך לפתוח שלושה כלים שונים. אפשר לבצע שלושה סבבים נפרדים ולדרוש בכל סבב סוג אחד של ביקורת.

בודק הראיות שואל אילו טענות נתמכות במידע, אילו מבוססות על הנחה ואילו דורשות מקור חיצוני.
בודק הביצוע מחפש צווארי בקבוק, תלות באדם או במערכת, עלויות נסתרות וסימנים מוקדמים לכישלון.
נציג הקהל בוחן מה המשתמש או הלקוח צריך להבין, מה עלול להרתיע אותו ואיזו חלופה כבר פותרת את הבעיה שלו.

אל תבקשו מכל תפקיד רק "למצוא בעיות". תנו לו קריטריון ותוצר: טבלה של טענה מול ראיה, שלושה כשלים אפשריים עם סימן אזהרה, או שתי התנגדויות של הקהל עם דרך לבדוק אותן.

מבקשים טיעון נגדי, לא התנגדות לשם התנגדות

הוראה כמו "שחק את פרקליט השטן" יכולה לייצר ביקורת דרמטית שאינה רלוונטית. ביקורת טובה אינה חייבת לפסול את הרעיון. היא צריכה להציג את המקרה החזק ביותר שבו עדיף לבחור אחרת ולהסביר על אילו תנאים הוא נשען.

בקשו מהמודל לנסח תחילה את ההחלטה שלכם בצורה הוגנת, ורק אחר כך לטעון נגדה. אם הוא מבקר גרסה קיצונית או פשטנית שלא הצעתם, תקנו את הניסוח לפני שממשיכים. המטרה היא לבחון את הרעיון האמיתי, לא לנצח ויכוח עם גרסה חלשה שלו.

אחר כך שאלו מה ישכנע את המבקר לשנות עמדה. התשובה הופכת התנגדות מעורפלת לתנאי בדיקה. לדוגמה: שיחה עם חמישה לקוחות מתאימים, נתון על שיעור נטישה, הערכת עלות מספק, או ניסוי קטן שמודד התנהגות בפועל.

מפרידים בין יצירת רעיונות לבין שיפוט שלהם

כאשר אותו רצף שיחה מוקדש במשך זמן רב לפיתוח רעיון אחד, כל ההקשר מושך להמשך אותו כיוון. אחרי שסיימתם ליצור, פתחו סבב ביקורת נפרד והדביקו בו תקציר נקי: המטרה, ההצעה, האילוצים והראיות. אל תצרפו את כל השבחים והניסוחים המשכנעים שנוצרו בדרך.

אפשר גם לבקש הערכה לפני שמגלים איזו חלופה אתם מעדיפים. הציגו אפשרות א, אפשרות ב ואפשרות ג באותו מבנה, ובקשו דירוג לפי קריטריונים שנקבעו מראש. כך מצמצמים את הרמז שהמודל מקבל מן הניסוח ומקבלים השוואה שקל יותר לערער עליה.

עם זאת, תשובה שנייה של AI אינה אימות חיצוני. אם הביקורת תלויה במחיר, חוק, נתון שוק, מגבלת מוצר או עובדה מקצועית, חוזרים למקור מוסמך. מחקר על ביקורת עצמית של מודלים מצא יתרון לשימוש במשוב מכלים חיצוניים, ולכן חיפוש מקור, חישוב או בדיקת קוד חשובים יותר מעוד סבב ניסוח.

כך מזהים ביקורת שאפשר לפעול לפיה

ביקורת שימושית היא ספציפית, מידתית וניתנת לבדיקה. היא מצביעה על החלק המדויק ברעיון, מסבירה מה עלול לקרות ומציעה דרך לברר. המשפט "ייתכן שיהיו אתגרים בשיווק" כמעט חסר ערך. לעומתו, "ההצעה מניחה שבעלי עסקים יקדישו שלוש שעות רצופות; בדקו זאת בשיחות עם הקהל והציעו גרסה של תשעים דקות להשוואה" נותן פעולה.

ספציפיות: האם ברור איזו הנחה, החלטה או ראיה נמצאת בביקורת?
חומרה: האם מוסבר מה הנזק האפשרי ועד כמה הוא סביר, בלי להפוך כל חולשה לאסון?
בדיקות: האם יש שאלה, מקור, ניסוי או מדד שיכולים לאשר או להפריך את הטענה?
חלופות: האם ההצעה החדשה באמת אפשרית תחת אותם אילוצים?
גבולות ידע: האם המודל מסמן מה אינו יודע, או מציג השערה כאילו הייתה עובדה?

אתגר קצר: משפרים החלטה אמיתית בשלושה סבבים

בחרו החלטה שעדיין אפשר לשנות, כמו נושא להרצאה, קנייה לעסק, מסלול לימודים או תכונה במוצר. כתבו בחמש שורות את המטרה, הקהל, האפשרויות, האילוצים והמידע שכבר יש לכם. אל תכתבו איזו אפשרות אתם אוהבים יותר.

בסבב הראשון הפעילו את בודק הראיות. בסבב השני הפעילו את בודק הביצוע. בסבב השלישי הפעילו את נציג הקהל. מכל סבב שמרו רק הערה אחת שעשויה לשנות החלטה ושאלה אחת שצריך לברר בעולם האמיתי.

בסיום אל תשאלו את ה-AI מה להחליט. כתבו בעצמכם מה השתנה: איזו הנחה נחלשה, איזו חלופה התחזקה ומהו הצעד הקטן הבא. כך המודל מסייע להרחיב את הבדיקה, והאחריות על השיפוט נשארת אצל מי שמכיר את ההקשר ואת המחיר של הטעות.

שאלות נפוצות

למה AI מסכים איתי גם כשהרעיון שלי חלש?

מודל שפה מגיב לניסוח ולהקשר, ולעיתים מתאים את עמדתו לעמדה שהמשתמש כבר הביע. שאלה שמבקשת אישור כללי מקלה עליו להחזיר תשובה תומכת. לכן כדאי לבקש משימת ביקורת מוגדרת ולדרוש הנחות, טיעון נגדי, חלופות ומידע חסר.

איזה פרומפט גורם ל-AI לתת ביקורת אמיתית?

אין נוסח שמבטיח ביקורת מושלמת. התחלה טובה היא להגדיר החלטה, מטרה, קהל ואילוצים, ואז לבקש בנפרד הנחות מסוכנות, טיעון חזק נגד, שתי חלופות ושאלות שחייבים לברר. חשוב גם לדרוש הפרדה בין עובדות שסיפקתם לבין הסקות של המודל.

האם כדאי לבקש מה-AI לשחק את פרקליט השטן?

אפשר, אבל התפקיד לבדו עלול לייצר התנגדויות מוגזמות. בקשו שהמודל יציג קודם את הרעיון בצורה הוגנת, אחר כך ינסח את המקרה החזק ביותר נגדו, ולבסוף יסביר אילו ראיות עשויות לשנות את הביקורת.

האם פתיחת צ'אט חדש משפרת את הביקורת?

צ'אט חדש יכול לצמצם השפעה של שיחה ארוכה שכבר חיזקה כיוון מסוים. העבירו אליו תקציר נקי ואחיד של האפשרויות. עדיין צריך לבדוק עובדות במקורות חיצוניים, משום ששיחה חדשה אינה הופכת את המודל למקור עצמאי.

איך יודעים אם ביקורת של AI טובה?

בדקו אם היא מצביעה על הנחה או החלטה מסוימת, מסבירה את ההשלכה, מציעה דרך בירור ומכירה במידע שחסר. ביקורת כללית, דרמטית או נטולת בדיקה מעשית אינה מספיקה לקבלת החלטה.