robots.txt

robots.txt הוא קובץ טקסט פשוט שיושב בשורש של כל אתר (בכתובת: yourdomain.com/robots.txt), ותפקידו אחד: לומר לרובוטים של מנועי חיפוש אילו דפים לסרוק ואילו לדלג עליהם. הוא לא מגן על דפים, הוא לא מסתיר תוכן – הוא פשוט הוראות ניווט לגוגל ולחברות.

robots.txt הוא לא דלת נעולה – הוא שלט "אל תכנס". גוגל בדרך כלל מכבדת אותו, אבל עמוד עם Disallow עדיין יכול להופיע בתוצאות אם יש אליו קישורים. אם רוצים הסתרה אמיתית – משתמשים ב-noindex.

מה robots.txt עושה בדיוק?

הקובץ בנוי מ"חוקים" בפורמט פשוט:

• User-agent – על איזה רובוט החוק חל. * = כולם, Googlebot = גוגל בלבד.
• Disallow – מה אסור לסרוק. Disallow: /admin/ = אל תכנס לתיקיית admin.
• Allow – מה מותר גם אם הוגדר Disallow כולל. שימושי לחריגים.
• Sitemap – לינק ל-XML Sitemap של האתר. כך גוגל יודעת מיד איפה לחפש.

ההבדל בין robots.txt לבין noindex

זה אחד הבלבולים הכי נפוצים שאני פוגש:

• robots.txt Disallow – אומר לגוגל לא לסרוק את הדף. גוגל לא נכנסת, לא קוראת, לא מעדכנת. אבל אם יש קישורים חיצוניים לדף – הוא עדיין יכול להופיע בתוצאות ללא תוכן.
• noindex tag – גוגל נכנסת לדף, קוראת אותו, ומחליטה לא להוסיף לאינדקס. יעיל יותר להסתרה אמיתית.

הכלל: Disallow לחיסכון ב-crawl budget (דפים שלא צריך שגוגל בכלל תבקר בהם). noindex לדפים שגוגל יכולה לסרוק אבל לא להציג.

robots.txt שגוי אחד יכול לחסום את כל גוגל מהאתר — זה קרה יותר פעמים ממה שחושבים.

מה לחסום ב-robots.txt?

• ממשק ניהול – /wp-admin/, /admin/, /login/ – אין סיבה שגוגל תסרוק אותם.
• עמודי תודה ואישור – /thank-you/, /order-confirm/ – תוכן שלא נועד לחיפוש.
• עמודי חיפוש פנימי – /?s=, /search/ – מייצרים עמודים אינסופיים ומבזבזים crawl budget.
• CSS ו-JavaScript? – לא. גוגל צריכה לראות אותם כדי להבין את הדף כמו שמשתמש רואה אותו.

שגיאות קריטיות ב-robots.txt

• Disallow: / – חוסם הכל. ראיתי אתרים שירדו לאפס תנועה כי מישהו העתיק שורה לא נכונה. הטעות הכי יקרה שיש.
• חסימת קבצי CSS/JS – גורם לגוגל לראות את האתר כשבור ועלול לפגוע בדירוג.
• לשכוח לבדוק אחרי שינויים – כל deployment חדש, כל שינוי ב-CMS, עלול לאפס את ה-robots.txt.