מחולל robots.txt

צרו כללי robots.txt של התר-הכול, חסום-הכול או מותאמים, עם שורת sitemap אופציונלית.