מהו ה-Googlebot?

Googlebot

Googlebot הוא רובוט הסריקה של גוגל, הסורק את מליוני האתרים ברשת האינטרנט. במהלך הסריקה ה-Googlebot מכיר דפי אינטרנט חדשים, ומצרף אותם לאינדקס של גוגל.

ה-Googlebot מונחה באמצעות אלגוריתמים המחליטים אילו דפים לסרוק מתוך מליארדי הדפים ברשת, באיזו תדירות לסרוק אותם ואת אילו דפים יש לאנדקס.

ה-Googlebot סורק את האתרים שהוא מכיר מסריקות קודמות, תוך שהוא מתייחס בנוסף למפות אתר שמנהלי אתרים מוסיפים לכלי מנהלי האתרים של גוגל (Google webmaster tools). במהלך הביקור באתרים Googlebot מאתר קישורים המובילים לדפים או אתרים חדשים, שינויים בדפים קיימים וקישורים שבורים/מנותקים, אותם הוא מאנדקס.

הביקור של Googlebot באתר והאינדוקס של הדפים שלו, מהווים מרכיב מפתח בתהליך הקידום האורגני (SEO). היות ו-Googlebot מגיע לדפים באמצעות קישורים, חשוב מאד להקפיד שמבנה האתר מאפשר גישה מהירה לכל דפי האתר. בנוסף, יש משקל מכריע גם למשקל המרכיבים בדף, ובעיקר לתמונות ואלמנטים גרפיים נוספים. ל-Googlebot אין זמן בלתי מוגבל לבקר בכל אתר. למעשה, הזמן שהוא מקדיש לכל אתר מוגבל ביותר. אם כך, חשוב להקפיד להעלות לדפי האתר תמונות במשקלים קלים של ק״ב בודדים או עשרות ק״ב לכל היותר, כדי לאפשר ל-Googlebot לסרוק כמה שיותר תוכן במהלך הביקור באתר. הדבר מקבל משנה חשיבות כאשר לוקחים בחשבון את המשמעות של זמן טעינה ארוך, כפרמטר באלגוריתמים הקובעים את דירוג תוצאות החיפוש האורגניות. גוגל, וגם הגולשים, מצפים לראות את התכנים שהם מחפשים מיד, בלי להמתין להם יותר מכמה מאיות או עשיריות השנייה.

בעלי אתרים ומקדמי אתרים צריכים לעשות שימוש בדף שגיאות הסריקה של כלי מנהלי האתרים. דף שגיאות הסריקה מציג את השגיאות שה-Googlebot איתר במהלך הביקור בדפי האתר, ומעניק לבעל האתר הזדמנות לתקן אותן לקראת הסריקה הבאה.