机器人元标记:针对开发人员的权威指南

披露: 您的支持有助于保持网站的正常运行!我们会为此页面上推荐的某些服务收取推荐费.


机器人元标记可向网络抓取工具(机器人)提供指令。它是robots.txt文件的替代方法,通过在HTML文档的头部添加一个meta标签,逐页实现。.

您找不到HTML5中提到的robots元标记,因为它并不是规范的正式组成部分。该标签是在1996年的W3C研讨会上提出的,其用法已在1999年12月的HTML 4.01附录B中进行了解释。但是,元机器人标签从未正式添加到HTML规范中.

这并不意味着搜索引擎不在乎标签。尽管不道德的网络爬虫可以(并且确实)忽略该标签,但搜索引擎网络爬虫会查看机器人元标记以获取有关如何处理网页内容的说明.

基本语法

meta robots标记的基本语法非常简单:

要使用它,请将标记添加到需要为网络爬虫提供说明的每个网页的head元素中。与提供整个站点说明的robots.txt文件不同,robots元标记仅适用于显示该页面的页面.

Robots.txt与机器人元标记

从表面上看,robots.txt似乎在策略上优于robots meta标记,因为robots.txt可以将整个网站的网络抓取工具说明保留在一个位置.

不幸的是,搜索引擎不在乎便利性。在阻止对URL编制索引方面,在robots.txt中使用disallow不如在robots元标记中使用noindex有效.

不相信我们吗?然后相信SEO专家Moz。他们提出了一个令人信服的案例,说明了选择robots.txt上的robots元标记.

告诉机器人该怎么做

在语法示例中,我们使用了 "说明去这里" 作为占位符。有几种不同的值可以代替它们使用.

索引和无索引

您可以告诉网络搜寻器的一件事是是否要为页面编制索引.



默认情况下,Web爬网程序假定它们有绿灯可索引每个网页。因此,如果您想为页面编制索引,只需省略漫游器元标记。但是,如果您不希望页面被索引,请在标签中添加一个 无索引 值.

关注并遵循

默认情况下,网络搜寻器会跟踪网页上的每个链接并为这些链接的页面编制索引(除非它们具有防止编制索引的说明)。因此,添加带有 跟随 值是可选的。但是使用 Nofollow 如果您不希望网络爬虫遵循页面上的链接.








指令也可以相互背负。因此,如果要将nofollow和noindex都添加到网页,则可以一次添加两个:

全有或全无

以下是常见的组合:

  • 索引并跟随
  • noindex和nofollow

您可以使用简写的全部或全部指示来实现此目的.

您还可以使用其他关键字来提供有针对性的说明。但是,值得注意的是,并不是所有的搜索引擎都注意所有这些命令.

  • content =“ noimageindex”:指示网络抓取工具不要索引网页上显示的任何图像。但是,如果这些图像出现在其他网页上,则会被索引。为防止对图像建立索引,请将机械手指令添加到图像文件随附的HTTP标头中.
  • content =“ noarchive”:指示网络搜寻器将网页编入索引,而不缓存网页的完整副本.
  • content =“ nosnippet”:指示搜索引擎在页面显示在搜索结果中时不显示代码段,并防止页面缓存.
  • content =“ noodp”:指示搜索引擎不要将ODP中的页面描述用作搜索结果中的代码段.
  • content =“ noydir”:指示Yahoo不要将Yahoo Directory中的页面描述用作搜索结果中的代码段.
  • content =“ notranslate”:指示Google不提供翻译网页的服务.
  • content =“ unavailable_after:[RFC 850日期/时间]”:指示Google在特定的日期和时间后该页面不应出现在搜索引擎结果中.

资源资源

大多数机器人元标记都非常简单。但是,如果您打算提供复杂的说明,请参考以下资源,以了解更多有关这些标签的信息.

  • Robots.txt最终指南:了解如何使用robots.txt文件替代robots元标记.
  • Meta Robots标签的终极指南:这篇文章包含一个表格,该表格将列出不同搜索引擎机器人注意的命令.
  • 机器人元标记和X机器人:了解Googlebot如何处理机器人指令.
  • 关于机器人 标签:机器人meta标签的正式概述.

将漫游器元标记添加到您的网站

如果您想在网站上添加漫游器元标记,则可以复制本文中介绍的标记并将其粘贴到您网站的HTML中。此外,还有一些工具可用于生成自定义说明并自动将标签添加到内容管理系统生成的网页中.

  • 先进的元标记生成器和Google搜索结果预览:使用此工具创建元标记(包括机器人标记),并预览有关这些规则生效后Google如何显示您的网站的预览.
  • 免费的元标记生成器:以纯HTML格式创建元标记,包括机器人标记。这个工具确实创造了一个额外的 name =“ generator” 标记你可能会 想要使用.
  • WordPress插件,元标记管理器:轻松地向各个页面添加各种元标记.
  • WordPress插件,GA Meta标签:使用此简单插件,可以在整个站点范围内轻松设置meta标签.
  • Joomla插件,Easy Frontend SEO:轻松控制机器人元标签.
  • Joomla插件,标签元:一个简单的元标签扩展.
  • Joomla插件,Meta Robots:使用单选按钮界面创建标签.
  • Drupal模块,自定义元:使用简单的表单创建任何类型的元标签.
  • Drupal模块,元标记节点类型:在每个节点的基础上添加元标记.

请控制你的机器人

如果要控制网络爬虫如何索引您的网站,则漫游器元标记是一种很好的机制。它易于理解,易于实施,并且可以对搜索引擎如何为您的网站编制索引产生重大影响.

很好地使用它,robots meta标签将确保搜索引擎也按照您希望的方式对待您的网站。使用不当,搜索引擎可能会忘记所有关于您的信息.

只要确保小心使用即可.


进一步阅读和资源

我们有更多与编码和网站开发有关的指南,教程和信息图:

  • 撰写好的HTML:这是编写格式正确的HTML和使用HTML验证程序软件的扎实介绍.
  • CSS3 —简介,指南和资源:这是开始学习网页布局的好地方.
  • ASP.NET资源:本指南将指导您使用Microsoft的.NET框架来创建网页.

初学者HTML —终极指南

如果您真的想学习HTML,我们会写一本篇长的文章《面向初学者的HTML —终极指南》,它确实是终极指南。它会带您从一开始就精通.

初学者HTML-终极指南 初学者HTML —终极指南

>

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me