זחלן רשת

הזחלן (Crawler), אשר ידוע בשלל שמות נוספים כגון רובוט סריקה, בוט, סורק ועכביש רשת, הוא תוכנה המבצעת סריקה של רשת האינטרנט באופן אוטומטי.

האלגוריתם של גוגל, לדוגמה, סורקים את הרשת באופן תמידי על מנת לבצע עדכונים שוטפים של מאגר המידע העצום של גוגל, כדי שכאשר גולש יכתוב שאילתת בשורת החיפוש – תוצגנה בפניו התוצאות הרלוונטיות והעדכניות ביותר.

הזחלנים של גוגל סורקים אינספור עמודים שונים מדי יום: הם נכנסים אל אתר אינטרנט, בודקים הם חלו בהם שינויים לעומת הסריקה הקודמת ומעדכנים באינדקס של גוגל את השינויים שהתבצעו, כגון קישורים או עמודי תוכן חדשים שהתווספו. הזחלנים סורקים את כל חלקי האתר, אולם ניתן להורות להם מאילו חלקים להתעלם ולא לאנדקס – זאת באמצעות התגיות nofollow ו-noindex.

כיצד ניתן לסייע לזחלן של גוגל לסרוק בקלות יותר את האתר?

צריך תמיד לזכור שגוגל הוא בסה"כ מנוע חיפוש מבוסס אלגוריתמים, המידע הזה מזכיר לנו שצריך להתאים את עצמנו לדרישות שלו, על מנת שיהיה לו קל יותר לאנדקס את האתר שלנו מה שיוסיף לנו את הסיכוי להיות מדורגים גבוהה בתוצאות החיפוש ולהינות ממיקומים גבוהים להלן 3 פעולות פשוטות שיסייעו לכם להקל על הסריקה של האתר שלכם:

מפת אתר – למעשה בעזרת בניית מפת אתר תקינה, תוכלו להנגיש בצורה הפשוטה ביותר את כל עמודי הטקסט באתר שלכם בהיררכיה הנכונה ביותר.

קישורים פנימיים – יצירת קישורים פנימיים עשויה לשפר את היכולת של הזחלן לדלג ולהגיע לעמודים נוספים באתר שלכם, ממש כמו שהגולש שלכם עשוי למצוא אינפורמציה חשובה וליהנות מתוכן משלים ואיכותי.

קישורים חיצוניים – הזחלן של גוגל נעזר רבות בקישורים להגיע לאתרים נוספים, כבר הרחבתי בעמוד שירות בו אני מציע בניית פרופיל קישורים חיצוניים כפרויקט לקידום האתר.