הצילו! השרת שלי לא רוצה אותי! – מדריך נבוכים (או: איך להוריד שימושיות משאבים בוורדפרס)
לפני עשרים יום הודעתי בדרמטיות: Site5, החברה שמאחסנת את שרת הבלוג, טוענת שאני משתמש ביותר מדי משאבים ורוצה עוד המון המון כסף. בהיותי יהודי העדפתי לייעל תהליכים במקום לשלם יותר.
הנה השתלשלות העניינים, למען יידעו הדורות הבאים ולאנשים שייתקלו בבעיה דומה.
[אין כניסה לטוויטרים. מקור]
החשוד העיקרי היה גנזך הרשת. ישר ישבתי וייעלתי את הקוד שלו, וגם הורדתי את קצב העדכון לפעם בשעתיים. כשזה לא עזר פשוט סגרתי את גנזך הרשת. כשזה לא עזר הבנתי שהבעיה היא בבלוג עצמו.
למשימת ייעול הבלוג הוזנק חברי היקר טל גלילי. איש יקר ונינג'ת וורדפרס ידוע. נקטנו בצעדים הבאים:
– עדכון כל גרסאות הבלוג.
– התקנת פלאגאין של Cache.
– מחיקת כל קבצי המוזיקה מהבלוג (טרם החזרתי).
– מחיקת הספאם.
– סגירת התגובות כדי שלא יהיה עוד ספאם.
– התקנת Jetpack וסגירת כל שאר הפלאגאינים חוץ ממנו ומה – Cache.
– חסימת כתובות ה – ip שאחראיות לרוב הספאם.
– עדכון לגירסא ישנה יותר של וורדפרס.
– תיקון וייעול מסד הנתונים.
כל זה עזר כמו כוסות רוח למת. מה שכן עזר: סגירת הבלוג. אבל זה פתרון גרוע ביותר כמובן.
כבר שקלתי לעבור לחברת אכסון גרמנית, כי הסכומים ש – site5 דרשו היו אסטרונומיים לדידי. אבל בסוף הוחלט על הימור אחרון:
שמתי לב שחלק ניכר מהגישות לבלוג נעשה ע"י מנועי חיפוש. ולא רק גוגל: msn, bing ועוד מלא מלא חברה קיקיוניים. עידכנתי את הקובץ robots.txt, שאחראי על מנועי החיפוש, והתרתי רק לגוגל להיכנס לבלוג (יש קוד באתר של גוגל למתעניינים).
ואללה.
נפטרה הבעיה.
אפילו אני הייתי מופתע.
אז יש מצב שאני מפסיד את שני האנשים ביום שמגיעים מכל מיני מנועי החיפוש שמעולם לא שמעתי עליהם – יש הרבה בעברית. ויש מצב שזה יוריד את הפופולריות הויראלית של הבלוג. אני אפילו מפחד שפתאום גוגל יתעניינו בי פחות – וחמישים אחוז ממבקרי הבלוג מגיעים משם.
בינתיים זה פועל טוב. מקווה שלא תראו עוד יומיים פוסט אזעקה שמודיע על המשך ניסויים ועדכונים. כך שבאופטימיות זהירה אני כותב: חזרנו!
רק להדגשה: הגדרות בקובץ robots.txt לא מונעות כניסה לאתר או סריקה של דפים באתר ולא חוסמות כלום. הקובץ robots.txt משמש כ"המלצה" עבור רובוטים שמבקרים באתר. מה שיפה הוא שהרובוטים אכן מתייחסים לקובץ robots.txt…
לגבי עניין הבעיה: אם הבעיה נגרמה עקב סריקה של האתר ע"י הרובוטים וגם השתמשת ב-cache לדפים באתר, משהו לא הגיוני בזה שהאתר היווה עומס כלשהו על השרת.
אולי הפלאג-אין של ה-cache לא עבד כמו שצריך או משהו כזה, אבל במצב של cache לא אמור להיות בכלל עומס והדפים אמורים להיות "מוגשים" רוב הזמן מ-cache שמור ללא פניה ל-database וכד' (וההגשה מ-cache מתבצעת גם עבור הרובוטים ולא רק עבור משתמשים "אנושיים").
ולטעמי חמישים אחוז תנועה מגוגל זה הרבה יותר מדי. אתה צריך להתמקד בכך שכמות האחוזים של המבקרים מגוגל תרד בעוד שכמות המבקרים מגוגל לא תרד, כלומר – קידום ברשתות חברתיות, שיתופי פעולה עם אתרים אחרים או פרסום אחר שהוא לאו דווקא SEO. זה אומר יותר תנועה לאתר (יותר מבקרים ולא רק ממנועי חיפוש) ופחות תלות בגוגל שיכולה ע"י שינוי קטן במכניזם שלה להעלים קרוב לחצי מהמבקרים באתר…
תודה על המידע! אני יודע על העניין עם ה robots.txt. ניסיתי להישאר פשוט בפוסט.
אתה צודק בפיסקה השניה וזה באמת תמוה. עשיתי קצת ניסויים עם הפלאג אין של הקש, ונראה לי שהוא עובד. אני קצת תקוע פה ואשמח לעצות באימייל. כרגע, כמו תוכניתן קלאסי, אני שמח שזה עובד.
אני לא באמת איש שידחוף את האתר שלו למקומות. המצב הנוכחי די נחמד לי.
מבינה בכל זה כמו תרנגולת במברשת שיניים.רק שלא ייחסם הבלוג השווה שלך בפני… מתגעגעת.
גם אני לא מבין בזה. אני מתמטיקאי בסופו של דבר, לא משהו אחר..
יש לי גם את התוסף ג'טפק, איך זה תורם להקלה בעומס?
זה גורם ל – wordpress לבצע חלק מהדברים שהשרת ביצע עבורי (כמו למשל, ניהול סטטיסטיקות).