סריקת אתר בגוגל או אנדוקס? כל מה שצריך לדעת

אינדקוס אתר

בטח לא מעט מכם כבר שמעו את המושג "אינדוקס". חלק מהעבודה של מנועי החיפוש וכמובן גם שיטת העבודה של האלגוריתם, מתבססת על סריקה והכנסה לתוך האינדקס של מנוע החיפוש.

אפשר להגיד שאינדוקס המידע והתכנים הוא אחד החלקים המשמעותיים בתהליך. בסופו של דבר, אם האתר שלכם, או הדפים הספציפיים שהעליתם, לא נכנסו לאינדקס של מנוע החיפוש, הם פשוט לא יופיעו בתוצאות לשאילתות.

אם אתייחס לגוגל, טוב בכל זאת הוא מהווה 97% משוק מנועי החיפוש בישראל, מדובר בעצם על אינדקס ענקי של כל דפי האינטרנט אותם גוגל סרק ואיחסן כדי שיוכל להציג את זה בתוצאות החיפוש. אז איך האינדקס של גוגל עובד ואיך כדאי להכין את התכנים שלנו כדי שיעבוד בצורה הטובה ביותר? במילה אחת…סתם נראה לכם שאפשר לסכם את זה במילה אחת? 🙂 כל מה שצריך לדעת במאמר הבא.

איך עובד האינדקס של גוגל?

האינדקס של גוגל משתלב בתהליך סריקת האתר בצורה הבאה:

סריקה

קודם כל ולפני הכל, Googlebot סורק את אתר האינטרנט ומחפש דפים חדשים, או מעודכנים. חשוב לזכור שגוגל עובד בשיטה בה הוא מגלה על אתרים חדשים באמצעות אתרים שהוא סורק, כלומר אם תוך סריקת האתר גוגל גילה אתר חדש, הוא יעבור לסריקה גם שלו כדי להכניס אותו לאינדקס. אם גוגל במהלך סריקת האתר שלכם גילה קישורים פנימיים, הוא יסרוק את העמודים החדשים גם כן. פה יש להתייחס לנקודה חשובה. לא כל אתר או עמוד שגוגל סורק הוא גם מאנדקס. האנדקוס עצמו תלוי בערך שמביא התוכן שבאתר, ובגורמים נוספי.

אינדוקס

גוגל מנתח את הדפים ומאחסן אותם בממסד נתונים ענקי. בפעולת האינדוקס הוא בעצם משייך את האתר שלכם או העמודים הפנימיים בו לנושאים, שאילתות וכמובן מילות מפתח.

דירוג

כמו שאתם יודעים גוגל גם מדרג את תוצאות השאילתות לפי דירוג, ככל שהדירוג שלכם יהיה גבוה יותר ככה תופיעו גבוה יותר בחיפושים וכמובן, יותר טראפיק לאתר.

איך אפשר לדעת אם גוגל אינדקס את האתר שלי?

גם אם אתם בטוחים ב-100% שהאתר שלכם ועמודים בו נמצאים באינדקס של גוגל, אני עדיין ממליץ מאוד לוודא את זה, אחרת כל מאמץ שתעשו לא ממש יעזור. על מנת לבדוק אם גוגל הוסיף אתכם לאינדקס שלו, תוכלו להקליד לפני כתובת האתר שלכם site: לדוגמא – Site:yourweb.com וכך, תוכלו לראות הערכה כמה מהעמודים באתר שלכם גוגל סרק:

אם אתם לא מקבלים תוצאות, האתר שלכם לא מאונדקס. ככה תוכלו בקלות ביעילות להבין מה סטטוס האתר שלכם. מה שכן, אם האתר שלכם נסרק ואתם רוצים לבדוק האם עמוד ספציפי נסרק ניתן להזין מילת חיפוש  Site:yourweb.com, ואז התוצאות שיתקבלו יהיו העמודים המאונדקסים באתר שמצוינת בהם מילת החיפוש . אם אתם רוצים לרדת קצת יותר לעומק, תוכלו להשתמש ב-google console שאגע בו בהמשך המאמר.

לעזור לגוגל לעזור לנו – איך לגרום לגוגל לאנדקס את האתר שלי?

כמעט בכל מאמר אני מדבר על זה שחשוב וכדאי לעזור לגוגל. בסופו של דבר, גוגל הוא מנוע חיפוש וככזה, הוא חייב לקבל את המידע בצורה נגישה בשבילו. אם יש לכם אתר חדש, לגוגל יכול לקחת קצת זמן להכניס אתכם לאינדקס שלו, בעיקר כי יקח לו זמן ללמוד את האתר שלכם, לאיזה תחום הוא מתקשר ומה התכנים שיש בו. פעולת האינדוקס יכולה להמשך בין כמה ימים לכמה שבועות.

הדרך הקלה ביותר להגיד לגוגל שיש כאן אתר חדש שהוא יכול לסרוק, זה פשוט לבקש הוספה של האתר לאינדקס של גוגל, באמצעות Google search console.

מפת אתר

מפת אתר זה מסמך XML שמפרט את כל ה-URL שתרצו שגוגל יוסיף לאינדקס שלו. מפת אתר בעצם אומרת לגוגל בשפה שלו, אלו העמודים הכי חשובים באתר שלי ואלו גם העמודים שאני רוצה שתציג לגולשים בחיפושים רלוונטיים. מפת אתר בעצם באה למקד את גוגל, על מנת שיבחר את העמודים החשובים ביותר שלכם.

אם אין לכם מפת אתר, אני מאוד ממליץ שתתחילו לעבוד על אחת, מדובר על אחד הדברים שיעזרו לכם מאוד בעבודה מול גוגל בטח בכל מה שקשור לסריקה והכנסה לאינדקס. ברגע שיש לכם מפת אתר, תעלו אותה ל-google search console.

בדקו את כתובות האתר שלכם

באמצעות Google search console תוכלו לבדוק כתובות אתר, באמצעות פיצ'ר URL inspection תוכלו לוודא כי אותו עמוד פנימי בתוך האתר שלכם אכן מאונדקס:

בנוסף לכך, תוכלו לראות שם מתי הוא נסרק לאחרונה ולקבל מידע נוסף. במידה ומתקבלת הודעה כי כתובת האתר אינה בגוגל, זה אומר שכתובת האתר לא התווספה ולכן, לא תופיע בתוצאות חיפוש. באמצעות Google search console תוכלו גם להבין מדוע האתר לא הוכנס לאידקס החיפושים ובאמצעות ההערות האלו לטפל בליקויים כדי להופיע בחיפושים.

איך לגלות בעיות סריקה ואינדוקס ולטפל בהן?

אז העולם לא מושלם, לצערי 😣 ולעיתים תתקלו בבעיות סריקה של עמודים פנימיים באתר שלכם. אבל אל תדאגו, בהחלט אפשר להבין מה הבעיות ולתקן אותן, בעיות פוטנציאליות יכולות להיות מפני שהאתר נטען לאט מדי בגלל עומס של תמונות, או שטח איחסון אתר לא נכון, זה יכול להיות מפני שהאתר לא מותאם לנייד, או אולי כי יש בעיות בהפניות ועוד.

בדקו את החלק הטכני

לפני הכל, אני ממליץ להתחיל מביקורת SEO טכנית, על מנת למצוא בעיות בסיסיות שעלולות לפגוע באינדוקס האתר. אם אתם לא מעוניינים לחפש מחט בערימת שחת, אני ממליץ להיעזר בכלי לקידום אתרים שיוכל למצוא בסריקה אחת מהירה ויסודית את הבעיות וייתן לכם הסבר, למה זה קרה ומה צריך לבצע על מנת לתקן את הבעיה.

בדקו את מסמך robots.txt

קובץ robots.txt הוא בעצם מסמך הנחיות לסריקה של מנועי חיפוש. במידה ואתם נתקלים בבעיה כלשהי בסריקת האתר ובאינדוקס, ייתכן כי יש חסימה כלשהו במסמך robots.txt.

במידה ומסמך ה-robots.txt עם הנחיות לא לבצע סריקת עמודים לאתר, סיכוי גבוה מאוד שהאתר שלכם גם לא יופיע באינדקס וכתוצאה מכך לא יעלה בחיפושים. במצב כזה יש לוודא מה העמודים שתחת Disallow ולשנות אותם ל-allow.

תגית noindex

אחת הדרכים בהן אתם יכולים לומר למנועי החיפוש, לא להוסיף את הדפים האלו לאינדקס החיפוש, זה מטא תגית noindex. באמצעות התגית הזאת אתם מסמנים בעצם מה לא הייתם רוצים שיעלה בתוצאות החיפוש.

אם דף מכיל את שורת הקוד הזו:

המשמעות היא לא להוסיף אותו לאינדקס. באמצעות Google search console אתם יכולים לבדוק באילו דפים באתר שלכם יש את מטא תגית noindex וככה בעצם לבחון האם יש עמודים שלא נמצאים באינדקס, אבל כן הייתם מעוניינים שהם יופיעו.

היכנסו ל-Google search console, הקישו על "דפים" לאחר מכן הקליקו על "אינדקס" ותגללו עד שתגיעו לחלק – "מדוע דפים לא מתווספים לאינדקס". שם תוכלו לפלח את כל העמודים שלא נכללים משום שהם בעלי מטא תגית noindex.

שפרו את הקישורים החיצוניים שלכם

כמו שציינתי בתחילת המאמר, מנועי החיפוש עובדים באופן כזה, כך שבמהלך סריקת אתר, או עמוד בתוך אתר מתגלים קישורים וכך גוגל (או מנועי חיפוש אחרים) מגלים אתרים חדשים ורלוונטים שאפשר להכניס לאינדקס חיפוש.

שפרו את איכות האתר שלכם

בסוף, זה סתם נשמע מסובך לעשות קידום אתרים טוב, בשורה התחתונה, גוגל רוצה שהאתר שלכם יהיה כמה שיותר איכותי עבור הגולשים המגיעים אליו, או במילים אחרות עבור הלקוחות של גוגל.

אם נבחן את זה רגע, הדבר שהכי חשוב לגוגל זה לתת לגולש כמה שיותר מידע רלוונטי בהתאם למה שהוא חיפש. לכן, אם האתר שלכם לא מספיק איכותי לפי ההגדרות של גוגל, ייתכן שהתכנים בו לא יאונדקסו.

אודות הכותב

אייל רחמים

בעל ניסיון של 14 שנים בשיווק דיגיטלי ו11 שנים בקידום אתרים, יזם דיגיטלי, מנכ״ל דיגיטאץ׳ – חברה לקידום אתרים ושיווק באינטרנט, מרצה במכללה למנהל, והבעלים של הבלוג seolinks.

לכל המאמרים