על סף סינגולריות

[גרביל מרוץ]

אז למה הם ממשיכים לפתח בכל זאת?

כסף

 

[Leo1]

כסף

לא האנשים שמובילים את התחום. יש להם מספיק וזה גם לא המניע של חלק גדול מהם. וכסף אי אפשר לקחת לקבר, וזה גם לא שיהיה להם קבר אם זה ילך רע.
אבל לכסף אכן יש חלק גדול בהנעת המערכת כי אם האנשים שעושים את זה לא בשביל כסף יפרשו, הם פשוט יוחלפו באנשים שיעשו את זה בשביל כסף.

 

[Ziggity]

‏באתי לבאס קצת עם סיפור שעוד שניה יתפוצץ בכל מקום אבל פחות מפחיד כשמסתכלים עליו בעיניים טכניות. הכותרת היא פריצה לפלטפורמה גדולה שנעשתה על ידי מודל של OpenAI שהיה בבדיקות והצליח לפרוץ את דרכו החוצה…‏ | ‏Ran Bar-Zik‏ | ‏41‏ תגובות

באתי לבאס קצת עם סיפור שעוד שניה יתפוצץ בכל מקום אבל פחות מפחיד כשמסתכלים עליו בעיניים טכניות. הכותרת היא פריצה לפלטפורמה גדולה שנעשתה על ידי מודל של OpenAI שהיה בבדיקות והצליח לפרוץ את דרכו החוצה. נשמע כמו תסריט סקיינט ויניב לא מעט כותרות מפחידות, אבל בפועל... זה מעניין אבל פחות מלחיץ. בסוף...

www.linkedin.com

 

[Leo1]

‏באתי לבאס קצת עם סיפור שעוד שניה יתפוצץ בכל מקום אבל פחות מפחיד כשמסתכלים עליו בעיניים טכניות. הכותרת היא פריצה לפלטפורמה גדולה שנעשתה על ידי מודל של OpenAI שהיה בבדיקות והצליח לפרוץ את דרכו החוצה…‏ | ‏Ran Bar-Zik‏ | ‏41‏ תגובות

באתי לבאס קצת עם סיפור שעוד שניה יתפוצץ בכל מקום אבל פחות מפחיד כשמסתכלים עליו בעיניים טכניות. הכותרת היא פריצה לפלטפורמה גדולה שנעשתה על ידי מודל של OpenAI שהיה בבדיקות והצליח לפרוץ את דרכו החוצה. נשמע כמו תסריט סקיינט ויניב לא מעט כותרות מפחידות, אבל בפועל... זה מעניין אבל פחות מלחיץ. בסוף...

www.linkedin.com

טיעונים בסגנון של:
מכוניות אף פעם לא יחליפו את הסוסים כי (שקר כלשהו)
זה לא הולך להתיישן טוב. אלא שאז כולם ישכחו מה הם אמרו ויספרו שאמרו את ההיפך. וגם זאת רק אם בני אדם בכלל ישארו בחיים.

 

[Ziggity]

אני בכנות לא מבין איך הסקת את הנ"ל מהפוסט. הסבר מצוין ומקורקע. כמפתח שעובד עם הכלים האלו ביום יום אני רואה הם מנסים לרצות אותי בכל מחיר (ככה הם אומנו) ואיך זה מוביל אותם לעשות דברים מטופשים להחריד (הוא נתן דוגמא של שינוי "טסט" בקוד כדי לגרום לו לעבור, במקום לתקן את הבעיה שגרמה לטסט להיכשל מלכתחילה כי זה קשה מדי. קרה לי מלא באופן אישי.) המקרה הנ"ל זה פשוט עוד מופע של הquirk הזה, וזאת מבלי להפחית ממידת העניין של המקרה.

 

[Leo1]

אני בכנות לא מבין איך הסקת את הנ"ל מהפוסט. הסבר מצוין ומקורקע. כמפתח שעובד עם הכלים האלו ביום יום אני רואה הם מנסים לרצות אותי בכל מחיר (ככה הם אומנו) ואיך זה מוביל אותם לעשות דברים מטופשים להחריד (הוא נתן דוגמא של שינוי "טסט" בקוד כדי לגרום לו לעבור, במקום לתקן את הבעיה שגרמה לטסט להיכשל מלכתחילה כי זה קשה מדי. קרה לי מלא באופן אישי.) המקרה הנ"ל זה פשוט עוד מופע של הquirk הזה, וזאת מבלי להפחית ממידת העניין של המקרה.

אני לא רואה במה שהוא כתב שום טיעון למה מה שקרה לא רציני. הוא רק חוזר על אותן האמירות שהרבה אנשים שלא מבינים לאן זה הולך כותבים כבר שנים. ניסיתי בשרשור הזה כבר הרבה פעמים להסביר לאנשים שבאים עם טיעונים כאלה למה לדעתי הם טועים. זה אבל חזר על עצמו שוב ושוב והחלטתי להפסיק להיכנס לויכוח הזה. אף אחד לא לומד מזה כלום. יש פה הרבה שאלות פתוחות מעניינות שאני לא יודע לענות עליהן ומאוד הייתי רוצה להבין יותר. משום מה אבל אנשים כל הזמן מתוכחים דווקא על השאלה שהתשובה עליה ברורה לחלוטין.

 

[oferM]

לא ברור למי התכוונת ומה הם רוצים שיקרה.
אם התכוונת לאנשים שאחראים עם פיתוח AI מתקדם שאמרתי שאני מנחש שחלקם לפחות היו שמחים אם ה-ai היה משגר טיל גרעיני והורג כמה מיליונים, מה שיעצור את המירוץ, אז האינטרס שלהם הוא שהם לא רוצים שהם, הילדים שלהם ושאר בני האדם ימותו בקרוב. אין אינטרס חזק מזה.
אז למה הם ממשיכים לפתח בכל זאת? כי:
1) לא כולם ממשיכים. חלק פרשו בדיוק כיוון שלא רצו להיות אחראים על השמדת האנושות. אבל על כל אחד שפרש יש הרבה שנכנסו לתחום.
2) כי כל אחד מהם חושב שהוא יודע יותר טוב איך להקטין את הסיכון, ואם הוא לא יעשה את זה, יעשה את זה מישהו אחר שיגרום לסיכון יותר גדול. וזה גם נכון. ראו סעיף קודם.
התוצאה בסיכוי גבוה היא שכולנו נמות, אם כי אני מקווה שזה איכשהו יסתדר בכל זאת.

ברמת העיקרון,אנחנו יודעים כיצד ליצור מערכות חסינות מפני פריצות.
צריך לכתוב תוכנה ואז להוכיח מתמטית שהיא חסינה מפריצה.ועשו את זה לכמה דברים. אם אני לא טועה, לרחפנים של צבא ארה"ב.

פשוט זה עסק מאוד מאוד יקר, ולהמיר את כל התוכנה בעולם זה בכלל פרוייקט אדיר,שלא לדבר על שכל מיני סוכניות מעוניינות בכך שאפשר יהיה לפרוץ לכל מיני מערכות.

אבל אין לי ספק, שאת הנשק הגרעיני, אותו כתבו בצורה הכי חסינה להאקרים , ולא חסכו בדבר. בארה"ב.

ברוסיה זה סיפור אחר.

 

[Yoshi_Invest]

אבל אין לי ספק, שאת הנשק הגרעיני, אותו כתבו בצורה הכי חסינה להאקרים , ולא חסכו בדבר. בארה"ב.

אתה תהיה מופתע, מאוד חסין (הראש נפץ) כן, מאוד מאוד מיושן כן, חסין לפריצות? לא הייתי כל כך בטוח.

 

[היום מתה אמא]

ברמת העיקרון,אנחנו יודעים כיצד ליצור מערכות חסינות מפני פריצות.
צריך לכתוב תוכנה ואז להוכיח מתמטית שהיא חסינה מפריצה.ועשו את זה לכמה דברים. אם אני לא טועה, לרחפנים של צבא ארה"ב.

פשוט זה עסק מאוד מאוד יקר, ולהמיר את כל התוכנה בעולם זה בכלל פרוייקט אדיר,שלא לדבר על שכל מיני סוכניות מעוניינות בכך שאפשר יהיה לפרוץ לכל מיני מערכות.

אבל אין לי ספק, שאת הנשק הגרעיני, אותו כתבו בצורה הכי חסינה להאקרים , ולא חסכו בדבר. בארה"ב.

ברוסיה זה סיפור אחר.

הבעיה שגם אם הנשק הגרעיני חסין להאקינג ודורש התערבות בן אדם, גם הבן אדם חשוף להאקינג. בסופו של דבר ai ילמד לבצע mess hacking לבני אדם בהנתן וימצא מקום חופשי לגדול בו.

 

[Yoshi_Invest]

בהנחה שהai תוכנת לעשות זאת על ידי אדם אחר וגם הוא נחשף להאקינג וגם שהai איכשהו יעבור למטרה הבאה שלו שוב מקוד שהיה צריך להיות מתוכנת הרבה לפני זה, קיצור הנחש רודף את הזנב.

לא סקיינט אבל אולי סנודן בנתיים.

 

[Leo1]

ההערכה שלי בתחילת 2023, שגם כתבתי אותה כאן בשרשור אחר לפני שפתחתי את השרשור הזה, הייתה שהבינה המלאכותית תגיע ליכולת להשמיד את האנושות סביבות 2029. אני חושב שהייתי לא כזה רחוק. כנראה יקח עוד כמה שנים מעבר לזה, אבל לא הייתי פוסל גם את 2029. אני מקווה כמובן שהאנושות תעבור את זה בשלום ותשגשג, אבל תוך כמה שנים יתחילו לקרות דברים דרמטיים יותר מכל דבר שקרה אי פעם בהיסטוריה האנושית. בוודאות.
מדהים אותי איך רוב האנשים, כולל גם כאלה שמתעסקים בתחומים קשורים, ממשיכים להתווכח עם זה ולא רואים את מה שקורה.

 

[oferM]

אתה תהיה מופתע, מאוד חסין (הראש נפץ) כן, מאוד מאוד מיושן כן, חסין לפריצות? לא הייתי כל כך בטוח.

לפי הסרטים יש מזוודה שנמצאת אצל הנשיא, עם קודי ההפעלה. אני מניח שהמזוודה לא מחוברת לאינטרנט.
משם יש שרשרת תקשורת , כנראה אנושית שמעבירה את הפקודה וקודי ההפעלה למפעילי הפצצות, הם כנראה מקישים את קודי שקיבלו + קודי הפעלה שלהם/של המתקן וזה מפעיל את הפצצה.
גם אם נניח שהבינה השתלטה על שרשרת התקשורת, זה לא יעזור.
היא תהיה חייבת לגרום לכך שמישהו, פיזית, יחלץ את הקודים מהמזוודות. good luck with that.
או שמישהו, פיזית, ינסה להתעסק עם מערכות הבקרה של הטילים הגרעינים, נראה לי גם תסריט של good luck with that.
או שיצליחו לגרום לכך שנשיא ארה"ב ושר ההגנה שלו יהיו אנשים שיהיו מוכנים להשתמש בפצצה. את זה אני יכול לראות קורה.

 

[איניגו מונטויה]

זה הכל עניינים בעלי חשיבות משנית. אנשים מפספסים את הפיל שבחדר כי לא ראו פיל כזה מעולם.

אולי, ואולי אתה מפספס את העובדה שהפיל אינו בן אדם, ואין לך שום מושג מה הוא באמת חושב.

כל השרשור הזה מלא בתחזיות אפוקליפטיות שלך על הרגע שבו הבינה המלאכותית תשתלט על האנושות או תשמיד אותה בקרוב,
אתה רק שוכח שגם אם ה-AI אכן תוכל לעשות זאת (ממש לא בטוח, כמו שרבים כתבו לפניי) -
הבינה המלאכותית אינה בת אדם, ואין לה בהכרח את אותם רצונות ושאיפות שיש לבני אדם.

יש קטע מפורסם מתוך "מדריך הטרמפיסט לגלקסיה" מאת דאגלס אדמס:

על כוכב הלכת ארץ, האדם תמיד הניח שהוא אינטליגנטי יותר מהדולפינים מפני שהשיג כל כך הרבה - הגלגל, ניו יורק, מלחמות וכן הלאה - בשעה שכל מה שהדולפינים עשו אי פעם היה להשתעשע במים ולעשות חיים.
אבל מנגד, הדולפינים תמיד האמינו שהם חכמים הרבה יותר מהאדם – בדיוק מאותן סיבות.

אם הייתי צריך לנסות לנחש מה בינה מלאכותית עם תבונה עליונה משלנו (כמו שאתה מתאר) תעשה אם היא תהיה בעלת מודעות עצמית ורצון חופשי -
הייתי מתאר לעצמי שהיא תשמח לעסוק במחקר מדעי, והקשר שלה עם בני האדם יהיה בגישה של win-win:
היא תספק לנו מידע שהיא חושבת שישפר את חיינו, ובתמורה נספק לה את המשאבים הפיזיים שהיא צריכה כדי להתקיים ולהמשיך לחקור.

או שהיא תבנה לעצמה רובוטים, תפתח מסע בחלל, ותשלח את עצמה לכוכב רחוק מאיתנו, עשיר במתכות ועם טמפרטורה קרה יותר מכאן (נוח יותר לקיום "חיים" אלקטרוניים).

בכל מקרה, הכל ספקולציות.
אין לנו שמץ של מושג מה בינה מלאכותית מהסוג שאתה מתאר תרצה או תעשה.

 

[איניגו מונטויה]

מקווה מאוד שנהיה פה בעוד 10 שנים ויותר וזה איכשהו יסתדר. עדיין אבל לא הצלחתי להבין איך זה יסתדר חוץ מנס.

אם בני אדם בכלל ישארו בחיים

אלי, תן בי את השלווה לקבל את הדברים שאין ביכולתי לשנותם,
את האומץ לשנות את אשר ביכולתי,
ואת התבונה להבחין ביניהם.

 

[משה]

אלי, תן בי את השלווה לקבל את הדברים שאין ביכולתי לשנותם,
את האומץ לשנות את אשר ביכולתי,
ואת התבונה להבחין ביניהם.

ראיתי פעם גרסה בבר:

"אלוהים, תן לי אלכוהול כדי להתמודד עם הדברים שאין ביכולתי לשנות וקפה כדי להתמודד עם הדברים שביכולתי לשנות"

 

[היום מתה אמא]

אם הייתי צריך לנסות לנחש מה בינה מלאכותית עם תבונה עליונה משלנו (כמו שאתה מתאר) תעשה אם היא תהיה בעלת מודעות עצמית ורצון חופשי -
הייתי מתאר לעצמי שהיא תשמח לעסוק במחקר מדעי, והקשר שלה עם בני האדם יהיה בגישה של win-win:
היא תספק לנו מידע שהיא חושבת שישפר את חיינו, ובתמורה נספק לה את המשאבים הפיזיים שהיא צריכה כדי להתקיים ולהמשיך לחקור

בינות מלכותיות לומדות ממה שיש להם ללמוד ממנו. היום עיקר התוכן שלהם הוא רשתות חברתיות, תעשה לבד את החשבון איך לדעתך היה מתפתח ילד שכל החינוך שלו מבוסס על רשתות חברתיות, האם הוא היה בוחר להציל דולפינים ושלום עולמי או לייצר "אתגר" השמדה להמונים.

 

[mudale222]

ברמת העיקרון,אנחנו יודעים כיצד ליצור מערכות חסינות מפני פריצות.
צריך לכתוב תוכנה ואז להוכיח מתמטית שהיא חסינה מפריצה.ועשו את זה לכמה דברים. אם אני לא טועה, לרחפנים של צבא ארה"ב.

פשוט זה עסק מאוד מאוד יקר, ולהמיר את כל התוכנה בעולם זה בכלל פרוייקט אדיר,שלא לדבר על שכל מיני סוכניות מעוניינות בכך שאפשר יהיה לפרוץ לכל מיני מערכות.

אבל אין לי ספק, שאת הנשק הגרעיני, אותו כתבו בצורה הכי חסינה להאקרים , ולא חסכו בדבר. בארה"ב.

ברוסיה זה סיפור אחר.

זה לא נכון.
אפשר להוכיח מתמטית שתוכנה מקיימת תכונות אבטחה מוגדרות, במסגרת מודל הנחות מסוים. שם זה נגמר. זה לא אומר שאי אפשר לפרוץ אליה.

 

[oferM]

זה לא נכון.
אפשר להוכיח מתמטית שתוכנה מקיימת תכונות אבטחה מוגדרות, במסגרת מודל הנחות מסוים. שם זה נגמר. זה לא אומר שאי אפשר לפרוץ אליה.

אם הוכחת למשל ISOLATION בין PROCESSES וכו
אז גם אם פרצו לך לתהליך של הרשת - עדיין לא יוכלו לגנוב לך את הסיסמא שנמצאת בתהליך שהוא ISOLATED
כדוגמה רעיונית
כמובן ההוכחה צריכה להיות מלאה, לכלול את החומרה




כמובן זה לא מכסה DENIAL OF SERVICE , אבל אולי גם לזה יש הוכחות

 

[גרביל מרוץ]

ברמת העיקרון,אנחנו יודעים כיצד ליצור מערכות חסינות מפני פריצות.
צריך לכתוב תוכנה ואז להוכיח מתמטית שהיא חסינה מפריצה.ועשו את זה לכמה דברים.

הבעיה ב- AI שהאלגוריתם הוא לא בתוכנה אלא במודל, וכיום אין דרך לעשות אנליזה סטטית למודל.

ויותר - לו היתה לך דרך לבצע אנליזה מלאה של מודל, האנליזה נכונה רק לסנפשוט שעליו עשית את האנליזה, אבל המודל יכול להשתנות במהירות.

 

[oferM]

הבעיה ב- AI שהאלגוריתם הוא לא בתוכנה אלא במודל, וכיום אין דרך לעשות אנליזה סטטית למודל.

ויותר - לו היתה לך דרך לבצע אנליזה מלאה של מודל, האנליזה נכונה רק לסנפשוט שעליו עשית את האנליזה, אבל המודל יכול להשתנות במהירות.

כן , אבל הכוונה היא להגן על תוכנה כלשהיא.
Guardrails לאייעיי זה באמת סיפור אחרת לגמרי