נניח שיש לי אתר פעיל עם תוכן מקורי שמתעדכן על בסיס יומי

במסגרת השיפורים של האתר
אני יוצר תיקייה שנקראת

www.domain.com/new/

שמשתמשת באותם נתונים ובאותם הכתבות..

האם הגדרה של robots.txt כ disallow *
יספיק בשביל למנוע מגוגל ומונעים אחרים לסרוק את התוכן המשוכפל ?
או שיש פעולות נוספות שכדאי לעשות ?
אשמח לעצות...