PDA

צפה בגרסא המלאה : CRAWLER ACCESS



Eyal011
10/07/2011, 13:51
שלום, יש לי אתר שאלות ותשובות באנגלית. עקב בעיה מסויים של שכפול דפים באינדקס של גוגל, החלטתי לחסום חלק קטן של האתר ע"י DISALLOW בROBOTS ומחקתי את הדפים מהאינדקס של גוגל. השיכפול נעלם והכל בסדר.
מאז אני מקבל שגיאה ב WEBMASTER TOOLS שחלק מהדפים הם RESTRICTED BY ROBOTS. למה זה שגיאה? והאם זה יכול לפגוע בדרוג?

תודה
אייל

Idan_Shloman
11/07/2011, 10:14
זה לא שגיאה, זה אומר בדיוק מה שעשית, חסמת חלק מהעמודים (שמוצגים שם ברשימה) על ידי שימוש ברובוטס.

תמשיך לעבוד רגיל, זה לא ישפיע עליך.

whybeca
19/07/2011, 12:57
לדעתי עדיף לטפל בדפים הללו בצורה יותר ממוקדת; אולי אפילו לשנות את התוכן כך שלא יהיה משוכפל.
חבל לאבד דפים ולהוריד אותם מהסריקה.

Icel
19/07/2011, 12:59
חסימה בקובץ robots.txt לא מסירה עמודים מהאינדקס. היא מונעת סריקה של העמודים בלבד.

זו אינה שגיאה, אלא התרעה. זה שם כדי שתכיר שקיימת הגדרה כזאת.