על סף סינגולריות

[oferM]

כיום אף אחד לא באמת יודע איך המוח והתודעה עובדים, יש ניחושים שמדובר אולי בתהליך קוונטי, אולי כן, אולי לא, אולי אופציה אחרת שנסתרת מהעיניים שלנו.

איך נראית השיטה לדעת כיצד המוח עובד?

לדעתי משהו כמו השיטה המדעית: מעלים תיאוריות, ויש הרבה, ואז מוכיחים או מפריכים תיאוריות באמצעות ניסויים.

מה דעתך?

 

[who_knows]

איך נראית השיטה לדעת כיצד המוח עובד?

לדעתי משהו כמו השיטה המדעית: מעלים תיאוריות, ויש הרבה, ואז מוכיחים או מפריכים תיאוריות באמצעות ניסויים.

מה דעתך?

בגדול ממה שאני מבין מנסים להסביר איך הקילו וחצי האלו עובדים ברמה הפיזית. לא יודעים עדיין מה עושה מה שם, מה גורם לתודעה, האם היא קיימת גם בבעלי חיים ובאיזו רמה. אין לי מושג בדברים האלו, זה מה ששמעתי/קראתי, מניח שצריך ללמוד לעומק כדי להבין את המשמעות.

 

[who_knows]

undecidable problem is a type of computational problem that requires a yes/no answer, but where there cannot possibly be any computer program that always gives the correct answer; that is, any possible program would sometimes give the wrong answer or run forever without giving any answer.

זה לא נשמע לי כמו משהו שאדם יכול לפתור. אני מניח שבמצבים כאלו אדם יכול להגיד:זה מרגיש לי נכון במקרה הזה , ולא נכון במקרה ההוא , ויתכן שיש לו אינטואיציה טובה והוא יצדק בחלק מן המקרים. אבל אינטואיציה מטבעה לפעמים טועה, היא דבר לא מדוייק, היא דבר סטטיסטי המבוסס על זיהוי דפוסים, וCHATGPT מכונה סטטיסטית, הדפוסים שהיא יוצרת ולכן זיהתה הם מדהימים.
ולגבי המצב של "לא לתת תשובה" , ניתן להגדיר למחשב שאחרי פרק זמן מסויים ללא תשובה, שימציא תשובה באקראי, וידבק בה בכל ליבו. די דומה למה שאנשים עושים.

זה רק חצי מהטיעון ואני כנראה עושה לפנרוס פה עוול. עיקר הטיעון קשור לתיזה של גדל בנוגע לחוסר שלמות של מערכות פורמליות. שוב פעם לא כולם מסכימים איתו וזה דיון יותר תיאורתי ממעשי.

 

[Leo1]

שאלתי את ChatGPT האם הוא AGI. הוא טוען בתוקף שלא, אבל אני לא השתכנעתי. לדעתי הוא לגמרי עונה על ההגדרה הבסיסית של AGI, בינה מלאכותית כללית שמסוגלת לנהל שיחה אינטליגנטית בכל נושא ברמה של אדם ממוצע. חסרות לו כמה יכולות בשביל הגדרות יותר נוקשות, אבל אלה יכולות שלא כזה קשה להוסיף.
הוא מסוגל לנהל שיחה אינטליגנטית בכל נושא. יש לו כבר ידע רב יותר מלכל אדם. הוא נראה לי חכם יותר מאדם ממוצע. הוא בהחלט פחות חכם ממומחים בתחומי המומחיות שלהם. עם זאת מודלי AI צרים יותר כבר פותרים בעיות שלבני אדם אין שום סיכוי לפתור, גם לא לגאונים שבהם. תוך 5 שנים בקצב ההתקדמות הנוכחי בקלות אפשר להגיע לסינגולריות.

 

[oferM]

שאלתי את ChatGPT האם הוא AGI. הוא טוען בתוקף שלא, אבל אני לא השתכנעתי. לדעתי הוא לגמרי עונה על ההגדרה הבסיסית של AGI, בינה מלאכותית כללית שמסוגלת לנהל שיחה אינטליגנטית בכל נושא ברמה של אדם ממוצע. חסרות לו כמה יכולות בשביל הגדרות יותר נוקשות, אבל אלה יכולות שלא כזה קשה להוסיף.
הוא מסוגל לנהל שיחה אינטליגנטית בכל נושא. יש לו כבר ידע רב יותר מלכל אדם. הוא נראה לי חכם יותר מאדם ממוצע. הוא בהחלט פחות חכם ממומחים בתחומי המומחיות שלהם. עם זאת מודלי AI צרים יותר כבר פותרים בעיות שלבני אדם אין שום סיכוי לפתור, גם לא לגאונים שבהם. תוך 5 שנים בקצב ההתקדמות הנוכחי בקלות אפשר להגיע לסינגולריות.

אני לא בטוח שמודלי שפה גדולים הם מה שייקח אותנו לagi. אבל כן מרגיש שאנחנו קרובים.

ובנוסף יש כמויות אדירות של כסף שמושקע במחקר ופיתוח בינה מלאכותית, וחלק לא מבוטל מושקע במחקר בסיסי. ומצד שני החומרה משתפרת בקצב מהיר.

אז יש אופציה סבירה ביותר שנראה agi בשנים הקרובות.

 

[OnTheVerge]

האם הוא AGI. הוא טוען בתוקף שלא, אבל אני לא השתכנעתי. לדעתי הוא לגמרי עונה על ההגדרה הבסיסית של AGI, בינה מלאכותית כללית שמסוגלת לנהל שיחה אינטליגנטית בכל נושא ברמה של אדם ממוצע.

זאת לא ההגדרה שלי ל-AGI.
ההגדרה של סאם אלטמן מעולה - היכולת להחליף את העובד מרחוק החציוני (median remote worker).

כרגע, בלי יכולות Agency ועם יותר מדי הזיות - הוא לא שם.
נדרשת קפיצת מדרגה שאולי נראה בדור הבא של המודלים.

 

[ת.אוקהם]

כרגע, בלי יכולות Agency ועם יותר מדי הזיות - הוא לא שם.
נדרשת קפיצת מדרגה שאולי נראה בדור הבא של המודלים.

רק הבהרה קטנה, אתה מדבר על קפיצת המדרגה הבאה אחרי הטרנספורמרים או על הדור הבא של chatgpt?

 

[קפה שחור]

למי שמעודכן בז'אנר
מוזילה יצרנית הדפדפן פיירפוקס מוציאה מודל קטן מקומי כדי לתרגם תמונות לטקסט עבור "קוראי מסכים"

Experimenting with local alt text generation in Firefox Nightly – Mozilla Hacks - the Web developer blog

Firefox 130 will feature an on-device AI model that automatically generates alt-text for images, integrated into its built-in PDF editor.

hacks.mozilla.org

מה שמעניין אותי מאוד בזה הוא אספקט הפרטיות, כי ההורדה והשימוש הוא מקומי ללא צורך לגשת לענן לקבל את המידע (לשלוח את התמונה ואז לקבל תגובה)
וגם לא נדרש מעבד "רציני"

 

[OnTheVerge]

רק הבהרה קטנה, אתה מדבר על קפיצת המדרגה הבאה אחרי הטרנספורמרים או על הדור הבא של chatgpt?

הניחוש שלי שכבר בדור הבא של המודלים (GPT-5 / Claude 4 / Gemini 2) נראה קפיצת מדרגה משמעותית.

אם אתה מאמין לדבריהם של סאם אלטמן, מנכ"ל אנת'רופיק וה-CTO של מיקרוסופט - אנחנו לא קרובים ל-diminishing returns בשלב הזה (סאם אלטמן הגדיל להגיד שברמת וודאות מדעית גבוהה, זה גם נכון עבור GPT-6).

שילוב של agents + רמת אמינות גבוהה מאוד (ללא הזיות כמעט בכלל) + מודל חכם יותר across the board בזכות גידול במחשוב, שיפורים אלגוריתמיים, דאטה סינתטי ואולי גם RL ואני מאמין שנתחיל לראות עליה באחוז האבטלה בקרב עובדי הצווארון הלבן.

אבל... בסופו של דבר זה ניחוש.

 

[who_knows]

זאת לא ההגדרה שלי ל-AGI.
ההגדרה של סאם אלטמן מעולה - היכולת להחליף את העובד מרחוק החציוני (median remote worker).

כרגע, בלי יכולות Agency ועם יותר מדי הזיות - הוא לא שם.
נדרשת קפיצת מדרגה שאולי נראה בדור הבא של המודלים.

ואפילו AGI ממוצע שכזה לא קרוב אפילו לסינגולריות. זאת אומרת הוא יוכל לעשות הרבה דברים, אבל ממש לא ללמוד ולשכתב את עצמו במהירות אקספונינציאלית.
יש מי שממש עם הופעתו של chat gpt 3.5 התחיל לעבוד על יכולות agency - כלומר פתרונות שמחברות בין התשובה של הצ'אט לAPIים של ענן לדוגמא, זה כאמור עדיין לא המריא ממש, אבל לדעתי גם כשימריא זה יהיה מקצר תהליכים מעולה אבל לא יחליף אדם.

אנשים לא מבינים כמה כאב ראש אנושי הולך לתפקידים כמו מתכנת. חלק עצום מהזמן זה לשבור את הראש על מה בכלל אתה רוצה, מה הלקוח רוצה, מקרי קצה מהשטן, פריסות מורכבות של מוצרי לגסי, ובמילים פשוטת דברים מאוד ספציפיים למוצר הספציפי עליו אתה עובד כרגע.
את עולם הbootstrap הAI יכול להזניק משמעותית. כשבונים דברים מאפס הרבה יותר קל להיצמד לפתרון הקלאסי.

אגב גם בתור יועץ/מורה, לדוגמא ארכיטקט שנותן לך את הbest practices בכל רגע נתון, הוא מעולה. היכולת לענות על שאלות follow up היא מאוד טובה. אבל זה שוב פעם בגלל המודל של השיחה, זה אנקדוטלי, ובסופו של דבר מקצר לך קצת את הזמן שהיה לוקח למצוא את התשובה בספר או בפורום מתאים.

 

[ת.אוקהם]

רמת אמינות גבוהה מאוד (ללא הזיות כמעט בכלל) +

אוקי, איך אמורות להעלם ההזיות*? המציאו מידול שונה שעוזר או שזה פשוט יותר דאטה לאימון ומודל יותר גדול (+ עוד modalities)?

*שואל באמת מסקרנות, אני כבר לא מצליח לעקוב אחרי כל העדכונים.

 

[OnTheVerge]

אוקי, איך אמורות להעלם ההזיות*? המציאו מידול שונה שעוזר או שזה פשוט יותר דאטה לאימון ומודל יותר גדול (+ עוד modalities)?

מנכ"ל Nvidia טוען שזה פתיר (האם זה ישים, איני יודע):

Huang was asked what to do about AI hallucinations — the tendency for some AIs to make up answers that sound plausible but aren’t based in fact. He appeared visibly frustrated by the question, and suggested that hallucinations are solvable easily — by making sure that answers are well-researched.

“Add a rule: For every single answer, you have to look up the answer,” Huang says, referring to this practice as “retrieval-augmented generation,” describing an approach very similar to basic media literacy: Examine the source and the context. Compare the facts contained in the source to known truths, and if the answer is factually inaccurate — even partially — discard the whole source and move on to the next one. “The AI shouldn’t just answer; it should do research first to determine which of the answers are the best.”​

 

[who_knows]

לא היית לוקח ברצינות שום דבר שהמנכ"לים האלו אומרים. זה נטו עסקים.
תראו את הסרטון הזה שסוקר את כל האמירות וההצרות בין 2010-2020 על טרנד הביג דאטה עד שגם הוא דעך. היזמים והמנכ"לים פיזרו אמירות כאלו בלי סוף.

(אני לא אוהב את הכותרת הקליק בייטיט ואני לא חושב שכל ההייטק הוא הונאת פונזי אבל יש לו כמה נקודות מעניינות)

Why AI Is Tech's Latest Hoax

Short on time? 16 charts, the takeaways, and the full write-up: https://modern-mba.com/case/ai-hoaxYou can search our entire catalog, browse videos by in...

www.youtube.com

 

[markmr]

מנכ"ל Nvidia טוען שזה פתיר (האם זה ישים, איני יודע):

לא היית לוקח ברצינות שום דבר שהמנכ"לים האלו אומרים. זה נטו עסקים.
תראו את הסרטון הזה שסוקר את כל האמירות וההצרות בין 2010-2020 על טרנד הביג דאטה עד שגם הוא דעך. היזמים והמנכ"לים פיזרו אמירות כאלו בלי סוף.

(אני לא אוהב את הכותרת הקליק בייטיט ואני לא חושב שכל ההייטק הוא הונאת פונזי אבל יש לו כמה נקודות מעניינות)

Why AI Is Tech's Latest Hoax

Short on time? 16 charts, the takeaways, and the full write-up: https://modern-mba.com/case/ai-hoaxYou can search our entire catalog, browse videos by in...

www.youtube.com

RAG זאת שיטה ידועה, המנכ"ל לא אומר משהו מהפכני. למיטב הבנתי היום יש אפילו RAG אוטומטי שלא מצריך ידע בתחום.
זה עובד ביחס לדאטה מסוים(למשל - מסמך, מאמר, וכו'), לא כעקרון גלובלי.

בכל מקרה, אני לא רואה את הסינגולריות שהכותב מדבר עליה, זה נשמע לי יותר כמו מדע בדיוני. הבינה המלאכותית היא בהחלט העתיד בהמון תחומים, אבל יש כרגע הייפ קצת מגוחך.

 

[אנא-אל]

כל המגבלות שחלות על המחשב חלות גם על המוח האנושי(אלא אם כן המוח האנושי מממש מחשב קוונטי, מה שנראה מאוד מאוד לא סביר. גם אז אבל אפשר פשוט לעבור לדבר על מחשב קוונטי במקום מחשב קלאסי).

למה לא סביר שהוא יעבוד דומה יותר למחשב קוונטי מאשר מחשב רגיל?

 

[Leo1]

למה לא סביר שהוא יעבוד דומה יותר למחשב קוונטי מאשר מחשב רגיל?

את מכירה משהו שמצביע על כך שהמוח עובד כמחשב קוונטי ושומר על סופרפוזיציה של כמות מידע גדולה?
נראה לי שיהיה די קשה לעשות את זה עם מבנה המוח ועוד בטמפרטורת החדר.
זה שונה כמובן מתופעות קוונטיות מקומיות. המחשב הרגיל כמובן כולו מבוסס על תופעות קוונטיות, אבל באופן מקומי, והמידע בו לא נמצא כמידע קוונטי בסופרפוזיציה.

 

[ת.אוקהם]

בכל מקרה, אני לא רואה את הסינגולריות שהכותב מדבר עליה, זה נשמע לי יותר כמו מדע בדיוני. הבינה המלאכותית היא בהחלט העתיד בהמון תחומים, אבל יש כרגע הייפ קצת מגוחך.

גם אני לא רואה ואני סבור שדרושה עוד קפיצת מדרגה טכנולוגית כדי להגיע לשם (קפיצה איכותית, לא כמותית בצורת עוד פרמטרים או מולטימודאליטי).
מצד שני, כל מה שקורה היום עם המודלי שפה נראה לחלוטין כמו מדע בדיוני לפני עשור אז לעניות דעתי קשה לדעת איפה התחום יהיה בעוד עשור מהיום.

 

[markmr]

את מכירה משהו שמצביע על כך שהמוח עובד כמחשב קוונטי ושומר על סופרפוזיציה של כמות מידע גדולה?
נראה לי שיהיה די קשה לעשות את זה עם מבנה המוח ועוד בטמפרטורת החדר.
זה שונה כמובן מתופעות קוונטיות מקומיות. המחשב הרגיל כמובן כולו מבוסס על תופעות קוונטיות, אבל באופן מקומי, והמידע בו לא נמצא כמידע קוונטי בסופרפוזיציה.

אני לא מומחה במחשבים קוונטים, אבל ההרגשה שלי היא שאתה מדבר על נושאים שאינך מבין בהם כמעט בכלל, והידע המעט שאתה שואב מהאינטרנט ומקורות אחרים משלים אותך בתחושה שיש לך הבנה.

גם מחשבים קוונטים, למרות השימוש הרבים שלהם, לא מהפכנים בצורה שמדברים עליהם. ( סתם לדוגמה, בניגוד להצהרות, כל מה שניתן לחשב במחשבים קוונטים ניתן לחשב במחשבים קלאסיים בצורה אספוננציאלית)

 

[markmr]

גם אני לא רואה ואני סבור שדרושה עוד קפיצת מדרגה טכנולוגית כדי להגיע לשם (קפיצה איכותית, לא כמותית בצורת עוד פרמטרים או מולטימודאליטי).
מצד שני, כל מה שקורה היום עם המודלי שפה נראה לחלוטין כמו מדע בדיוני לפני עשור אז לעניות דעתי קשה לדעת איפה התחום יהיה בעוד עשור מהיום.

האייפון היה נראה כמו מדע בדיוני אם היו מדברים עליו ב-1997 במקום 2007, גם כן.
שוב, העתיד יהיה מורכב מ-AI, אבל לדעתי לא כמו שהכותב רואה.

 

[oferM]

בשביל זה לא צריך

האייפון היה נראה כמו מדע בדיוני אם היו מדברים עליו ב-1997 במקום 2007, גם כן.
שוב, העתיד יהיה מורכב מ-AI, אבל לדעתי לא כמו שהכותב רואה.

חוץ מהממשק הייחודי של האייפון(באמת דבר יפה ולא צפוי) , כל השאר היה נגזרת טבעית של חוק מור.
Chatgpt לא היה צפוי.