בוודאי שלמי שעוסק בתחום יש יכולת חיזוי טובה מלהדיוט אבל גם יכולת החיזוי הזו לא מאוד טובה לעניות דעתי.
...
אל תבין אותי לא נכון כמובן, מאוד מעניין אותי לקרוא את המחשבות שלך כמישהו שחוקר בתחום אבל אני עדיין סבור שחיזוי העתיד הוא משימה קשה.
אני מסכים שזו משימה קשה. אני אפילו חושב שהפרדיקציה של הרבה מהחוקרים בתחום היא שגויה, ואני יכול להביא הרבה יכולות מלבד LLM קלאסי ויכולות תכנות שהפתיעו אותי הרבה יותר מהביצועים של LLM וסתרו מאוד את התחזיות האישיות שלי. אבל:
1) רוב החוקרים, מהניסיון שלי, נוטים פחות להביא תחזיות בביטחון קרוב ל-100%, בניגוד להרבה מגיבים בדיון הזה. אני חושב שחוקרים מרגישים הרבה יותר בנוח לקבל את זה שהחיזוי שלהם לא ודאי, במיוחד כשהם עוסקים בתחום שמהותו הוא חיזוי סטטיסטי.
2) רוב החוקרים כיום חוו חוויה דומה לשלי: תחזיות שהתנפצו, בעיקר בכיוון של התפתחות מהירה בהרבה מהצפוי. הרבה חוקרים כיילו את עצמם במידה מסוימת.
3) חוקרים אולי כן יכולים, באמינות גבוהה יותר, להגיד אמירות כמו הדעה האישית ששיתפתי בהודעה האחרונה (גם אם ההתקדמות תיעצר). הם גם יודעים להגיד אילו אמירות הן לא כלכך מובנות מאליהן כמו שאנשים חושבים (לדוג', יש אנשים שמשוכנעים שמודלים יכולים לשפר את עצמם. אבל זה עלול להיות בעייתי מסיבות של דאטה של אימון עצמי שחסר, חוסר בעדויות של מודלים שמתעלים על היכולות המגולמות בדאטה שהתאמנו עליו, ועוד...אני לא טוען שזה בלתי אפשרי, רק שזה לא בטוח ב-100% שזה אפשרי כמו שרבים חושבים).
לגבי אמינות התחזיות של מומחים, מתרחשים מדי פעם סקרי מומחים בהם שואלים אנשים שעוסקים בתחום לחזות דברים כאלו ואחרים. הרבה פעמים מתעסקים בשאלה של AGI (בשמותיו השונים).
הנה גרף אחד מעניין ומפורסם שדווקא מראה את חוסר עקביות הניבוי של מומחים: