mudale222
משתמש בכיר
- הצטרף ב
- 25/1/15
- הודעות
- 1,924
- דירוג
- 2,426
עמל"ק, לא נראה שיש תאוטה, אולי קצת האצה ולא ידוע מה יקרה עם המודלים שישפרו את עצמם.השאלה אם זה ה80-20 הקלאסי, שב20% מהזמן משיגים 80% מההתקדמות, או שאין בכלל דבר כזה 100% ואין לזה תקרה
בכל מקרה הקצב התקדמות גבוה מאוד. בחסות צ'אטי.
סיכום מחקר METR – נובמבר 2026
האם יכולות ה-AI מאיצות, והאם אנחנו מתקרבים למצב שבו AI מסוגל להחליף חוקרים ומהנדסים?
מבוסס על המחקר שפורסם ב-20 בנובמבר 2026, מאת Megan Kinniment, Manish Shetty וצוות METR.קישור למחקר המקורי
1. השורה התחתונה
המחקר מציג תמונה מעניינת למדי:- מודלי AI מובילים כבר משתווים לבני אדם מיומנים ואף עולים עליהם במגוון משימות תכנות ואופטימיזציה.
- הזמן שבו סוכני AI מסוגלים לעבוד באופן עצמאי לפני שהם נכשלים ממשיך לגדול במהירות.
- לפי המדידות החדשות, זמן המשימות שבו מודלים מצליחים ב-50% מהמקרים מכפיל את עצמו בערך כל 3.6 חודשים.
- עם זאת, יש עדיין פער משמעותי בין פתרון בעיות עם מדד הצלחה ברור לבין מחקר אמיתי, שבו לא תמיד יודעים מה הפתרון הנכון.
- החוקרים לא מצאו הוכחה חזקה לכך שקצב השיפור הכללי מאיץ או מאט.
החוקרים מגדירים האצה דרמטית כמצב שבו היכולות משתפרות מהר כל כך, עד שבני אדם כבר אינם מסוגלים להבין, להעריך ולהגיב באופן משמעותי לסיכונים של מערכות AI חדשות.
2. איך מודדים את ההתקדמות?
אחד המדדים המרכזיים של METR הוא Time Horizon.במקום לשאול כמה טוב המודל עונה על שאלות, הם בודקים כמה זמן הייתה לוקחת לאדם מיומן משימה שהמודל מסוגל להשלים באופן עצמאי.
לדוגמה:
- משימה שלוקחת לאדם 30 דקות.
- משימה שלוקחת לאדם 3 שעות.
- משימה שלוקחת לאדם יום.
- משימה שלוקחת לאדם שבוע.
חשוב להבין: זה לא אומר שהמודל עובד במשך אותו פרק זמן בפועל. זהו אומדן של מורכבות המשימה ביחס לזמן העבודה האנושי.
השינוי המשמעותי במחקר החדש
במרץ 2025 המודל המוביל הגיע לאופק של כשעה.בתוך כשנה, המודלים הצליחו להגיע לתקרת הבדיקה הקודמת, שכללה משימות של עד 30 שעות.
לכן METR פיתחו מערך בדיקות חדש וקשה יותר בשם TH2.
המחקר החדש בוחן 15 מודלים, כולל GPT-6 Astra ו-Opus 5.5, ומשלב שלושה מערכי בדיקה:
- TH1.1 – מערך הבדיקות הישן, הכולל 222 משימות.
- MirrorCode – 75 משימות שבהן AI צריך לשחזר תוכנות דרך ממשק שורת הפקודה.
- TH2 – מערך חדש הכולל 36 משימות ב-12 משפחות שונות, עם דגש על בעיות קשות יותר.
metr.org
3. קצב השיפור – הנתון המרכזי במחקר
הנתון המרכזיבמדגם המשולב TH1.1 + TH2, קצב ההכפלה הוא:
3.6 חודשים
זמן הכפלת יכולת ביצוע המשימותרווח סמך של 95%: בין 2.08 ל-4.94 חודשים
כלומר, בהנחה שהמגמה נמשכת, יכולת המודל להתמודד עם משימות ארוכות ומורכבות יותר מכפילה את עצמה בערך כל רבעון.
יש כאן שתי הסתייגויות חשובות:
- מדובר בהכפלת אופק המשימות, לא בהכפלת האינטליגנציה או הפרודוקטיביות הכללית.
- זהו ממוצע של שני מערכי בדיקה שונים, ולא קצב מובטח לכל סוגי המשימות.
רווח הסמך כאן רחב: 0.79–3.99 חודשים. לכן אין להתייחס ל-1.65 חודשים כקצב מוכח לכלל יכולות ה-AI.
החוקרים מציעים כמה הסברים אפשריים לפער:
- ייתכן שיש האצה אמיתית ביכולות.
- ייתכן שמשימות דומות זו לזו קלות יותר לשיפור מהיר.
- ייתכן שהבדלים במבנה מערכי הבדיקה משפיעים על התוצאה.
מה זה אומר במספרים?
החוקרים מעריכים שאופק המשימות הנוכחי במערך TH2 הניתן לאימות מגיע עד כ-27 שעות ברמת הצלחה של 50%.בהשלכה מתמטית של קצב השיפור המשולב, המודלים עשויים להגיע לאופק של 200 שעות ביולי 2027.
זוהי תחזית המבוססת על המשך המגמה, לא תוצאה שנמדדה בפועל ולא תחזית ודאית.
4. המודלים כבר מתחרים במומחים אנושיים
אחד החלקים המעניינים ביותר במחקר הוא ההשוואה לבני אדם.METR גייסו מומחים אנושיים לביצוע אותן משימות שהמודלים קיבלו.
הם שילמו למומחים בין 200 ל-350 דולר לשעה, והשקיעו כ-90 אלף דולר בניסיונות לגייס ולמדוד שבעה משתתפים.
התוצאות:
- במשימות התכנות והאופטימיזציה שנבדקו, המודלים המובילים ניצחו את המומחים שגויסו.
- בתחרויות תכנות ואופטימיזציה שבהן היו עשרות עד מאות משתתפים, המודלים הגיעו בדרך כלל לאחוזון 96–98.
- עם זאת, במקרים האלה עדיין היו בני אדם שהצליחו יותר מהמודלים.
MirrorCode: מודל Opus 5.5 הצליח לשחזר 77% מתוכנות בינוניות וגדולות, כאשר משימות השחזור הוגדרו ככאלה שהיו לוקחות למומחים אנושיים שבועות עד חודשים.
FrontierMath: GPT-6 Astra השיג 98% ב-Tier 4, רמה הכוללת בעיות מתמטיות מחקריות שהוערכו ככאלה שייקחו למתמטיקאי מומחה שבוע עד שבועיים.
צריך לזכור: מדובר בתוצאות במבחנים מסוימים, ולא בהוכחה שהמודלים יכולים להחליף מהנדסים או חוקרים בכל סביבת עבודה.
metr.substack.com+1
5. איפה AI עדיין מתקשה?
כאן המחקר הופך למעניין במיוחד.החוקרים מצאו הבדל משמעותי בין שני סוגי משימות:
סוג א': משימות עם מדד הצלחה ברור
לדוגמה:
- כתיבת תוכנה שעוברת את כל הבדיקות.
- שיפור אלגוריתם לפי מדד ביצועים.
- פתרון בעיה מתמטית עם תשובה מוגדרת.
- אופטימיזציה של מודל למידת מכונה.
סוג ב': משימות שדורשות שיקול דעת
לדוגמה:
- להחליט איזה כיוון מחקר בכלל כדאי לחקור.
- לזהות אם רעיון חדש באמת חשוב.
- להעריך אם תוצאה תעבוד גם בעולם האמיתי.
- לבחור בין מספר גישות כאשר אין דרך מהירה לבדוק איזו מהן טובה יותר.
הבעיה היא לא בהכרח שהמודל לא יודע לייצר פתרונות. הבעיה היא שהוא לא תמיד יודע לזהות בעצמו איזה פתרון באמת טוב.
לדוגמה, כאשר נתנו למודלים משימה לבנות מבחני הערכה חדשים עבור METR, הם הצליחו לייצר מבחנים בסיסיים, אבל לא הצליחו לייצר מבחנים שהחוקרים ראו בהם כלי משמעותי להערכת יכולות AI.
בעיה נוספת: מודלים שמדרגים את איכות העבודה של מודל חזק מהם נוטים לתת לו ציונים גבוהים מדי.
במילים אחרות, AI עדיין מתקשה לפעמים להעריך נכון את איכות העבודה של AI אחר.
metr.substack.com
6. בעיה נוספת: משימות אמיתיות קשות יותר ממבחנים
METR מציגים מדד חדש בשם Lifecycle Cost.הרעיון פשוט: לא כל משימה קשה באותה מידה, גם אם זמן העבודה האנושי זהה.
לדוגמה:
- לכתוב תוכנה שאפשר לבדוק אוטומטית – יחסית קל.
- לבצע ניסוי מחקרי ולבדוק אם הוא באמת קידם את המדע – הרבה יותר קשה.
- להמציא שיטת אימון חדשה ולדעת אם היא באמת טובה יותר – קשה עוד יותר.
בממוצע, קבוצת המשימות היקרה יותר הייתה קשה למודלים פי 2.9 מקבוצת המשימות הזולה יותר, במונחי אופק המשימות.
המשמעות: ייתכן שמדדי AI רגילים מציגים תמונה אופטימית מדי ביחס ליכולת להתמודד עם עבודה מחקרית אמיתית.
מצד שני, החוקרים מצאו שגם במשימות היקרות יותר קצב השיפור נשאר דומה לזה שבמשימות הזולות יותר.
הם מדגישים שאין עדיין מספיק נתונים כדי לדעת אם המגמה תמשיך גם במשימות מציאותיות ומורכבות הרבה יותר.
metr.substack.com
7. האם קצב השיפור עצמו מאיץ?
זה כנראה החלק החשוב ביותר ביחס לשאלה המקורית שלנו על חוק ה-80/20.החוקרים בדקו את קצב השיפור בשתי דרכים שונות.
בדיקה ראשונה – Time Horizon
כאן הם רואים שיפור מהיר מאוד, עם הכפלה כל 3.6 חודשים בממוצע, ואפילו הכפלה מהירה יותר בחלק ממערכי הבדיקה.
בדיקה שנייה – METR Capability Index (MCI)
זהו מדד סטטיסטי שמנסה למדוד את היכולת הכללית של המודלים על פני מגוון משימות, ולא רק את משך המשימות שהם מסוגלים להשלים.
התוצאה: הם לא מצאו האצה משמעותית של כלל המודלים הציבוריים, אבל גם לא מצאו האטה משמעותית.
הם מצאו סימנים אפשריים להאצה אצל מפתחים מסוימים, אבל התוצאות רגישות לשיטות המדידה.
Have AI Capabilities Accelerated? | Epoch AI
epoch.ai
יש כאן הבחנה חשובה:
היכולת לבצע משימות ארוכות יותר ממשיכה להשתפר במהירות, אבל אין עדיין הוכחה שקצב השיפור באינטליגנציה הכללית של המודלים הולך ומאיץ.
החוקרים גם מציינים שהמדד שלהם עלול לפספס האצה אמיתית, למשל אם חברות מעכבות פרסום מודלים חדשים או אם השיפור מתרחש בתחומים שלא נמדדים היטב.
metr.substack.com
8. האם AI מסוגל להאיץ את פיתוח ה-AI עצמו?
זו שאלת מיליון הדולר של המחקר.אם AI מסוגל:
- לכתוב קוד טוב יותר מבני אדם.
- לבצע ניסויים מדעיים.
- לשפר אלגוריתמים.
- להמציא שיטות אימון טובות יותר.
- לבנות ולשפר את הדור הבא של המודלים.
מודל AI חזק יותר
משפר את המחקר והפיתוח
מפתח מודל טוב יותר
המודל החדש משפר עוד יותר את המחקר
לולאת שיפור אפשרית, לא תהליך אוטונומי שכבר הוכח.
METR לא טוענים שאנחנו כבר נמצאים במצב הזה. הם גם לא יודעים אם יכולות שיקול הדעת החסרות הן תנאי הכרחי להאצה דרמטית.
אבל הם מזהירים שאפשר להגיע להאצה משמעותית במחקר AI עוד לפני שהמודלים מסוגלים להחליף בני אדם בכל סוגי העבודות הרגילות.
9. המסקנות שלי מהמחקר
אני חושב שיש כאן ארבע מסקנות משמעותיות:1. אין כרגע סימנים ברורים לחוק 80/20 שמאט את התקדמות היכולות.
לפחות בתחום המשימות הניתנות למדידה, המודלים ממשיכים להשתפר בקצב מהיר מאוד.
2. יכולת העבודה האוטונומית היא אולי המדד החשוב ביותר לעתיד התעסוקה.
ההבדל בין AI שעוזר למתכנת לבין AI שמקבל משימה ומסיים פרויקט שלם בעצמו הוא עצום.
3. צוואר הבקבוק עשוי לעבור מכתיבת קוד לקבלת החלטות.
אם המודלים יצליחו לשפר את שיקול הדעת שלהם, ולא רק את יכולת הביצוע שלהם, זה עשוי לשנות לחלוטין את קצב האוטומציה.
4. לא צריך לחכות ל-AGI כדי לקבל שינוי דרמטי.
גם מודל שלא מסוגל לבצע כל משימה אנושית יכול להפוך חלקים גדולים מאוד מתעשיית התוכנה והמחקר לאוטומטיים.
סיכום במספרים
| מדד | תוצאה במחקר |
|---|---|
| קצב הכפלת אופק המשימות המשולב | 3.6 חודשים |
| קצב הכפלה ב-TH2 הניתן לאימות | 1.65 חודשים |
| אופק משימות TH2 נוכחי | עד 27 שעות |
| אופק משוער ביולי 2027 | 200 שעות |
| ביצועי Opus 5.5 ב-MirrorCode | 77% |
| ביצועי GPT-6 Astra ב-FrontierMath Tier 4 | 98% |
| האצה מוכחת במדד היכולת הכללית | לא נמצאה |
המסר החשוב ביותר מבחינתי:
המחקר הזה לא מוכיח שאנחנו בדרך לאינטליגנציה מתפוצצת, אבל הוא גם לא מספק סיבה טובה להניח שהתקדמות ה-AI עומדת להאט בקרוב.
הדבר שהכי כדאי לעקוב אחריו בשנים הקרובות הוא לא רק כמה טוב AI כותב קוד, אלא מתי הוא יוכל לנהל בעצמו מחזורי מחקר ופיתוח שלמים, לזהות טעויות, לבחור כיווני מחקר ולייצר את הדור הבא של עצמו.
זה עשוי להיות השינוי המשמעותי באמת.