搜索引擎自动挖掘sitemaps

164月

搜索引擎自动挖掘sitemaps

搜索引擎可以从robots文件中提取sitemap的地址，而不用特地去搜索那里提交sitemap的地址。方法是这样的：
1、添加/修改你的robots.txt文件；
2、将下面的一行加入robots.txt
Sitemap: http://example.com/sitemap.xml
3、保存/上传。

这样搜索引擎就能自动找到你的sitemap，并索引了。到现在为止，Google，Yahoo，Microsoft Live Search和Ask.com都已经支持这种方法。

不了解什么是sitemap？

通过Sitemap文件，您可以告诉Google关于您网站上的所有网页；另外，还可以选择是否告诉Google关于这些网页的信息，如哪些网页最重要以及更改频率。通过提交 Sitemap 文件，您可以控制抓取/编制索引过程的第一步，即查找网页。

如果您的网页有动态内容、页面不容易通过追踪链接到达，或您的网站是新网站并且很少追踪链接，这会非常有用。

Sitemap有助于加速网页的查找，这也是抓取网页和编制索引重要的第一步，但还有其他很多因素会影响抓取/编制索引过程。

Sitemap可让您告诉Google关于您网页的信息（您认为哪些网页最重要，这些网页的更改频率如何），这样，在后续步骤中您的意见就会得到考虑。其他因素包括有多少网站链接到您的网站、网站内容是唯一的还是相关的、我们是否可以成功抓取网页，以及我们在网站管理员指南中阐述的所有内容。

Sitemap可从另一角度观察网站（如同您的主页和 HTML 网站地图一样）。它并不会取代Google抓取网络的常规方法。无论您是否把Sitemap向Google提交，Google都将使用与以往相同的方式搜索网站并编制索引。网站不会因使用此Sitemap而受到处罚。Google无法预见或保证您的网址是否会被抓取或添加到Google的索引，或何时会被抓取或添加。Google正在改善相应流程并尝试更好地理解网站管理员的需要，相信随着时间的推移，网站覆盖率和索引编制时效都能得到改进。

分享到：