sitemap.xml文件是严格按照xml语言编写的网站地图，用来引导搜索蜘蛛对本站文章等内容的索引，它是由google提出来的概念，目前yahoo，bing等大多搜索引擎已公开支持这种格式。

一般来说这个很重要，Google的机器人会在索引此链接前先和上次索引记录的最后更新时间进行比较，如果时间一样就会跳过不再索引。所以如果你的链接内容基于上次Google索引时的内容有所改变，应该更新该时间，让Google下次索引时会重新对该链接内容进行分析和提取关键字。

<lastmod>2021-11-17</lastmod>

完整网站地图示例和地图提交

新建 sitemap.xml 文件

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <url>
        <loc>https://blog.hostalk.net</loc>
        <lastmod>2020-09-03</lastmod>
    </url>
    <url>
        <loc>https://blog.hostalk.net/deals.html</loc>
        <lastmod>2021-11-17</lastmod>
    </url>
</urlset>

把写好的文件，放在网站根目录，比如俺博客：

https://hostalk.net/sitemap.xml

然后把上面地址提交到各大搜索引擎，就能很快被它们收录了，俺的新地址博客和论坛，提交地图不到一天就被收录了。

Bing提交地址：https://www.bing.com/webmasters
Google提交地址：https://www.google.com/webmasters/sitemaps

robots写法

写一个文件名为 robots.txt 文件放在网站根目录，内容如下：

禁止所有搜索引擎抓取网站内容：

User-agent: *
Disallow: /

允许所有搜索引擎抓取网站内容：

User-agent: *
Allow: /