互联网搜索引擎如何工作

元标记允许页面的所有者指定索引页面的关键词和概念。这可能是有帮助的，尤其是在页面上的单词可能具有两倍或三重含义的情况下 -元标记可以指导搜索引擎选择这些单词的几种可能含义中的哪个是正确的。但是，过度依赖元标签存在危险，因为粗心或不道德的页面所有者可能会添加适合非常受欢迎的主题但与页面实际内容无关的元标记。为了防止这种情况，蜘蛛将将元标记与页面内容相关联，拒绝与页面上的单词不匹配的元标记。

所有这些都假设页面的所有者实际上希望将其包含在搜索引擎活动的结果中。很多时候，该页面的所有者不希望它显示在主要搜索引擎上，也不希望蜘蛛的活动访问页面。例如，请考虑每次显示页面的各个部分或遵循新链接时构建新的活动页面的游戏。如果网络蜘蛛访问其中一个页面，并开始遵循新页面的所有链接，则游戏可能会将活动误认为是高速人类玩家并脱离控制。为了避免这样的情况机器人排除协议发展了。该协议是在网页开头的元标记部分中实现的，告诉蜘蛛单独离开页面 - 既不为页面上的单词索引，也不尝试遵循其链接。