为什么要考虑使用robots.txt文件?

为什么要考虑使用robots.txt文件?

1、有些文件是我们的内部文件，不希望在互联网上被其他人查找到。

2、有时，有些搜索引擎会不断的重复抓取你的网页，浪费了大量的服务器资源，但在其搜索结果的排序中，你的网站没有一个好的索引，你的网站来自于该搜索引擎的流量几乎没有，这时，你可能需要干掉它。

3、我们都知道：搜索引擎的图片搜索功能会把你的图片搜索出来，但用户一般直接从搜索结果中直接下载图片，而不会关心你的网站，甚至记不住图片的来源。同时，我们还知道，图片是很浪费服务器系统资源的。如果你不是做图片站，建议你将其Disallow，以此类推，有类似的目录存在此种情况，你都可以使robots.txt来实现。

书写外，还应在以下方面重点考虑：

1、使用官方的最基本的两个命令：User-agent和Disallow，其他的新命令不建议使用，至少在这段时期内不要尝试新命令在robots中的应用。

2、不要改变User-agent和Disallow的书写顺序，即先写User-agent，再写Disallow

3、对于Disallow命令，不能将其后的文件或目录写在一行中，例

如："Disallow: /newsunday /post/ /images/" ，这样写是错误的，应该写成：

Disallow: /newsunday

Disallow:/post/

Disallow:/images/

4、如果服务器中的文件名是：Newsunday，那么在robots.txt中就不能将其写成“newsunday”，以robots.txt文件中两者是不一样的，unix系统中也是这种规则。