香港主机评测网很多站长在网站SEP优化过程中都会接触robots协议，robots协议告诉各搜索引擎网站哪些页面可以抓取，哪些页面是禁止抓取，以robots.txt文本形式存放在网站根目录中。robots非常重要，可以禁止搜索引擎抓取不友好的链接内容，比如死链；也可以屏蔽一些不想被搜索引擎抓取的建站栏目。Robots文件可以直接用FTP工具链接网站根目录，那么 香港主机建站如何制作robots文件？
一般通用的robots.txt文件效果为
“
Sitemap:http://www.xxx.com/sitemap.xml
User-agent： *
Disallow：
”
值得注意的是，Disallow：后面必须空一格，再填写需要禁止抓取的内容。比如：
禁止所有搜索引擎抓取网站内容：
“
User-agent： *
Disallow： /
”
禁止抓取几个栏目：
“
User-agent： *
Disallow： /cgi-bin/
Disallow： /tmp/
”
另外有很多网站做过伪静态，以前存在的动态链接包含如“？”这样的连接符，也可以利用robots协议进行设置禁止抓取
“
User-agent： *
Disallow： /*？*
”
如果优化过程中，能够很好的利用robots协议，会让网站的优化工作更好的展开。一般来说，在香港主机设置robots协议，方式方法与国内主机大同小异，因此，站长在设置robots协议时，登录香港主机后台上传robots.txt文件到网站根目录即可。
