轻松配置网站Robots.txt文件
在一个网站里，robots.txt是一个重要的文件，每个网站都应当有一个设置正确的robots.txt。
7 @, N0 l% h$ |4 F# u当搜索引擎来抓取你的网站文件之前，它们会先来看看你网站的robots.txt文件的设置，以了解你所允许它抓取的范围，包括哪些文件，哪些目录。那么如何配置您的robots.txt文件呢？
^. |. N2 T) @$ L让我们看一个例子：
; ]7 }0 }/ q5 w, L& q! b# robots.txt file start D' x' E3 U7 N
# Exclude Files From All Robots:
) H; d. q- z/ V% FUser-agent: * * A' z# M6 {. l8 X) K5 b$ E
Disallow: /admin_login/ , E1 ^$ z! G5 r& W
Disallow: /admin/
- }5 m& w* y3 s! a7 CDisallow: /admin.htm
, ^3 H4 B, |( k8 q* ZDisallow:/admin.aspx
! P6 q1 h7 ?6 s% q7 m4 c# End robots.txt file
/ P b1 l M# k. l7 n1 O+ l/ K. V3 O) j5 v; t- n, ?
有#号的都是注释，方便阅读。
# M1 w, G4 L0 eUser-agent就是搜索引擎的蜘蛛，后面用了*号，表示对所有的蜘蛛有效。 9 H( \( Z6 ?, @ H
Disallow就是表示不允许抓取，后面的目录或者文件，表示禁止抓取的范围。 $ e" I, E+ I& E
! |: Q" c5 R8 ]) o# _
编辑好这个文件，然后保存在你的网站的根目录下(一定是根目录下，当然你也可以调整)，那么搜索引擎就会来看的。 8 G- h' b8 w+ }) @* ?
如果你没有robots.txt文件，在你的网站访问日志文件里，你会看到蜘蛛访问robots.txt文件不成功的纪录。
2 @. B% r; U% ?9 f3 W9 I好了，现在就去设置你的robots.txt文件吧。
