Gere regras robots.txt de permitir tudo, bloquear tudo ou personalizadas, com uma linha opcional de sitemap.