תקציב זחילה

הזחלנים של מנועי החיפוש אמנם סורקים את הרשת מדי יום, אולם לאו דווקא מבקרים באותו אתר אינטרנט מדי יום. כל אתר קיים "תקציב זחילה" הנקבע על ידי גוגל על פי גודלו, מספר הקישורים המובילים אליו ועוד. תקציב זחילה נמוך פירושו שעובר זמן רב בין סריקה לסריקה, וכך עמודים חדשים שעולים לאוויר או עדכונים בעמודים קיימים עשויים שלא להופיע בתוצאות החיפוש למשך זמן מה.

איך מגדילים את תקציב הזחילה ונהנים מתדירות סריקה גבוהה של האתר? מתקנים כמה שיותר שגיאות באתר (דוגמת לולאות קישורים או הפניות לעמודים שלא קיימים); מצמצמים את מספר ההפניות שבאתר ונעזרים בקובץ robots.txt על מנת להסתיר מעיני הזחלנים חלקים מסוימים באתר שאין צורך שייסרקו כלל, אם יש כאלה.

במהלך השנה האחרונה מיום כתיבת מאמר זה, במיוחד בקרב אתרי תדמית קטנים ובינוניים שהזחלן של גוגל לא "מתאמץ" לסרוק ברמה יומית, כאשר ביצענו מפת אתר, הוספנו קצת קישורים פנימיים, וניווט מהיר באתר, הצלחנו לשפר את דירוג האתר בעשרות ביטויים, לטעמי זווית החשיבה של מקדם אתר היא, כיצד לסייע לזחלן של גוגל לסרוק את האתר בצורה פשוטה, רק לאחר מכן כיצד לשפר את דירוג עמודי האתר ע"י אופטימיציה לאתר ובניית פרופיל קישורים חיצוני.