您可以轻松排除整个文件夹或文件类型

arafatmonowar1

noarchive 用于限制搜索引擎保存页面的缓存副本。默认情况下，引擎将保留已索引的所有页面的可见副本，搜索者可以通过搜索结果中的缓存链接访问它们。 何时使用：如果您运营电子商务网站并定期更改价格，您可以考虑设置 noarchive 标签以防止搜索者看到旧价格。 这是元机器人 noindex、nofollow 标签的示例：  此示例排除所有搜索引擎对页面进行索引以及跟踪页面上的任何链接。


如果您想排除多个抓取工具（例如 Googlebot 和 Bing），可以使用多个 WhatsApp 号码数据 机器人排除标记。 元指令影响索引，而不是抓取 Googlebot 需要抓取您的网页才能查看其元指令，因此，如果您试图阻止抓取工具访问某些网页，则元指令不是实现此目的的方法。机器人标签必须被抓取才能受到尊重。 X-机器人标签 x-robots 标签用在 URL 的 HTTP 标头中，如果您希望大规模阻止搜索引擎，它比元标签提供更多的灵活性和功能，因为您可以使用正则表达式、阻止非 HTML 文件并应用 site-级别无索引标签。



例如例如 ： <Files ~ Files> 或特定文件类型（例如 PDF 文件）： 有关 Meta Robot 标签的更多信息，请阅读Google 的 Meta Robot 标签规范。 给 WordPress 用户的建议： 在“仪表板”>“设置”>“阅读”中，确保未选中“搜索引擎可见性”框。这可以防止搜索引擎通过您的 robots.txt 文件访问您的网站！ 了解影响爬网和索引编制的不同方式将帮助您避免可能阻止爬网程序找到重要页面的常见问题。