מדוע גוגל מתריע על דפי 404 כדפים עם תוויות כותרות כפולות ומה עושים ?

[elikoo]

יש מספר דפים באתר שלי שאינם קיימים, ברגע שמגיעים אליהם מקבלים הודעת 404,
משום מה גוגל מתריע עליהם כדפים עם תוויות כותרות כפולות, אכן לכולם יש את אותה התווית והכותבת מכיוון וזה דף 404 שגיאה...
מדוע גוגל לא מדלג על זה ?

[elikoo]

אשמח לקבל עזרה בנושא...

[moshikobe]

בוא נבדוק קודם למה הדפים מקבלים שגיאה 404? אתה לא רוצה את הדפים האלה באתר שלך? אתה צריך להסיר את כל הקישורים המצביעים על העמודים האילו... כולל במפת האתר.. לאחר מכן גוגל בסריקה הבאה לא יקרא את אותם העמודים וכך הכל יסתדר.
הוא מצביע על שגיאה כי כנראה הסרתה את העמודים אך ללא הסרת הלינקים. יכול להיות שבגלל זה גם חלק מהדפים באתר שלך לא מאונדקסים כלל כי גוגל נתקע אחרי ה404..

[elikoo]

לא קיימים קישורים לעמודים האלו, אולי אתרים אחרים מקשרים אליהם... מה אני יכול לעשות בכל זאת ?
למה גוגל לא מבין שזה דף 404 ולא קיים עוד ?

[moshikobe]

גוגל רואה ומבין שזה עמוד שלא קיים אך אם יש לינקים שמקשרים אליו הוא לא יכול להתעלם מהם לכן יש צורך בהסרת הלינקים האלה..
אני הייתי מנסה להגדיר לגוגל לא לאנדקס את העמוד הזה דרך קובץ ה robots.txt