יומיות 26.07.2020: מהו GPT-3 והאם הוא ההמצאה הגדולה ביותר בעשור האחרון?

אחרי מכת החלזונות הגיעה מכת היתושים.

זה קיץ גשום במיוחד בוורשה, והתוצאה היא מכת יתושים שהעיר לא זוכרת. שיטוטים ברחוב לעת ערב מלווים בענני יתושים שעוקצים אתכם. נושא השיחה העיקרי הוא 'איך להימנע מעקיצות יתוש?'. שמעתי כבר כל עצת סבתא אפשרית.

המזל שלי הוא שכמו שאני עמיד בפנים נזקי החלזונות, ככה אני גם מחוסן בפני עקיצות היתושים. כלומר, יתושים עוקצים אותי – בהמוניהם! – אבל אני לא מפתח תגובה אלרגית. לא מגרד לי ולא כלום.

התוצאה היא שאנשים מסתגרים בבתים מפחד היתושים, בעוד אני יושב בתוך ענן יתושים על ספסל בפארק ריק ועובד על הלפטופ בכיף. זה הכי פריוויליגיסט שהרגשתי אי פעם.

1. בסוף מאי פירסמה חברת OpenAI מאמר על GPT-3, "מחולל הטקסטים" (על ידי בינה מלאכותית) החדש שלה. הוא הגיע שנה אחרי הגירסא הקודמת שלו, שנקרא כצפוי, GPT-2.

מבלי להעביר ביקורת, בואו נגיד שמה שהם באמת צריכים זה בינה מלאכותית שבוחרת שמות מוצרים.

ה-GPT-2 קיבל ביקורות מעורבות. מצד אחד הוא יצר טקסטים מרשימים, אבל מצד שני עם קצת ריכוז יכולתם לראות שמשהו שם "לא בסדר". הציפיות היו ש-GPT-3 יראה מגמת שיפור קטנה בייצור הטקסט, אבל לא יותר מזה.

זמן קצר לאחר פירסום המאמר, חשפו OpenAI גם מוצר שמממש את GPT-3. במקום לפרסם את קוד המוצר, כמו שהמילה Open בשם שלהם דורשת, הם נתנו גישה אליו לקבוצה קטנה של אנשים "מפורסמים".

התגובות היו מדהימות. מדהימות. קשה להיזכר מתי הפעם האחרונה שמוצר חדש קיבל תגובות נלהבות כל כך.

אמרו ש"GPT-3 זה כמו להסתכל על העתיד", אמרו ש"זאת ההמצאה הגדולה ביותר מאז בלוקצ'יין". זה גרם לאינטלקטואלים מודרניים לכתוב מאמרי דיעה פרובוקטיביים בשקל, כמו איך GPT-3 יהרוס את חופש הדיבור (הוא לא, אל תדאגו).

מספיק לקרוא שתי כתבות כדי להבין את גודל הפיתוח. הראשונה היא של מנואל ארוז. כתבה שהיא סוג של הטרלה. ארוז יצר כתבה על GPT-3 שנכתבה ע"י GPT-3, אבל רק בסוף הכתבה הוא מגלה זאת לקורא. זה מאד מפתיע, מאד מעצבן, וגם מאד מאד מרשים.

השניה היא כתבה של אררם סבטי, שהשתמש ב-GPT-3 כדי לחולל שלל טקסטים אמינים מאד. אם זה לא מספיק אתם יכולים לראות איך נראית הרפתקה טקסטואלית עם GPT-3.

האם ההייפ של GPT-3 מוצדק? בכנות? אין לי מושג.

מחד, הטקסטים ש-GPT-3 מייצר נראים אמינים מאד. אני לא אצליח להבדיל ביניהם לבין טקסט רנדומלי באינטרנט. מאידך, אף אחד מהטקסטים האלו גם לא מעניין במיוחד. מה לומדים מזה? אולי שהאינטרנט מלאה טקסטים נדושים וכתיבה גרועה.

ביקשתי גישה מוקדמת ל-GPT-3 עם תירוץ קלוש. עד עכשיו לא הגיעה תשובה. אז אני לא יכול לשחק עם המערכת בעצמי לחוות עליה דעה.

מה שכן אני יכול לחוות זה שכתיבת טקסטים ספרותיים אמינים היא מהפיכת בינה מלאכותית בסדר גודל של מכוניות אוטונומיות. לא עוד מערכות מחשב שמחליפות עבודה אנושית משעממת שאף אחד גם ככה לא רוצה לעשות (קופאים בסופר, פסי ייצור), אלא מערכת שמחליפה מה שנראה לנו כל כך מסובך שחייבים בינה אנושית בשבילו.

2. מצברוח עכשווי: לשבת עם חבר טוב וחכה בלי פתיון מול אגם פסטורלי ולהנות מהכלום. איזה ציור נהדר.

3. עלייתו ונפילתו של שם טוב האבי הוא אופרת ראפ אקטואלית. זה סרט שעלה בתחילת החודש בכאן דיגיטל, והוא לא פחות מיצירת מופת.

שאפו ענק לכל מי שעשה אותו, ושאפו לכאן בפעם המליון. תרבותית הם אחד הדברים הטובים שקרו לישראל בעשור הקודם.

הסרט הוא "כולה" 24 דקות, ויש בו "רק" 4 שירים, אבל איכשהו הוא מצליח במסגרת הקצרה הזאת גם לספר סיפור, גם לעשות מוזיקה טובה וגם להיות מגניב ברמות. קאלט מיידי.

4. באותו הזמן גיליתי שגדי פיינגולד הוציא השנה מחזמר רוק "אבידת בת מלך" על פי סיפורו של רבי נחמן מברסלב "מעשה מבת מלך". תצפו במופע פה.

5. אתם, שוטפים את האורז לפני הבישול?

https://twitter.com/CG252562/status/1287067455337226242

6. נטפליקס יוצרת סדרה ע"פ הקומיקס האגדי Usagi Yojimbo. מדובר בקומיקס שמתפרסם מ-1984(!) על ארנב סמוראי. קראתי איזה חוברת או שתיים שלו לפני עשור, אבל אני לא זוכר מספיק כדי לחוות דעה.

7. מסתבר שיוצרים גם פיילוט לסדרה מצוירת ע"פ הקומיקס המצוין The adventure zone. יאי!

טוב, אני מדבר כאילו אני מכיר את הקומיקס שנים, רק שבמציאות קראתי את שני הספרים שלו אתמול בפעם הראשון, אחרי שקראתי את הידיעה שמכינים סדרה מצוירת עליו.

זה סיפור מבוכים ודרקונים כזה בו הדמויות מודעות לכך שהן בתוך משחק ומתקשרות עם שליט המבוך כל הזמן. כמו LitRPG, רק בתוך משחק תפקידים במקום בתוך משחק מחשב.

קומיקס שהוא אסקפיזם איכותי, צבעוני ויפה.

8. יזמים? מפתחים? תקראו את הסטריפ החדש של Money User על פרוייקטי צד. קורע!

9. בבלוק הבניינים בו אני נמצא התקיים מפגש דיירים לאחרונה. הנושא: החלפת חברת הניהול של הבלוק (שאחראית על אשפה, נקיון, בטחון, חדר כושר וכו').

אני אמרתי, בשיא הרצינות, שכדאי למצוא חברה שתשים פחות מצלמות אבטחה בבלוק. טענתי, שוב ברצינות גמורה, שיש פה יותר מצלמות אבטחה מבכלא אלקטרז.

זה נכון! יש מצלמה כל מטר בערך, שמצלמת לכל הכיוונים האפשריים כל הזמן. זה כל כך קריפי ואני לא יודע למה מישהו רוצה לחיות ככה מבחירה.

אז מסתבר שאני המוזר וכולם נורמאליים, כי חוץ ממני שאר האנשים שם ממש שמחים על המצלמות. הם בכלל רוצים להוסיף עוד.

זה מביא אותי ליוזמה של מליונר הייטק מסן פרנסיסקו: להתקין מצלמות אבטחה בכל פינה ורחוב בעיר, ולתת לדיירי השכונה לשלוט ולפקח עליהן, במקום לחברת אבטחה או המשטרה.

בתיאוריה? נשמע טוב. תושבי השכונה מפקחים על עצמה. במציאות יש לכולנו סודות שאנחנו לא רוצים שהשכנים יגלו, יש סכסוכי שכנים שעלולים להסלים, ובגדול כל המציצנות המודרנית הזאת ממש לא לטעמי.

שייא אללה, אני כזה בומר.

10. א.נשים, תפתחו יומנים ותסמנו בעיגול אדום גדול: ב-24 בנובמבר יוצא ההמשך לשחקן מספר אחת של ארנסט קליין [ביקורת]. אחד מחמשת הספרים הטובים ביותר שקראתי בעשור הקודם.

קוראים לו שחקן מספר שתיים,  ואפשר להזמין אותו בהזמנה מוקדמת כבר עכשיו.