1197个单词，阅读大约需要2分钟 1.robots是一个协议，各大搜索引擎都不能遵守这个协议；机器人需要一定的有效时间。 2.为什么要写机器人？有些页面影响网站的相关性，浪费网站的资源。 3.机器人怎么写？ 用户代理:定义主要搜索引擎的类型 不允许:定义主要搜索引擎禁止包含的地址 允许:定义主要搜索引擎允许包含的地址示例:用户代理:*(中间有空空格)，应该屏蔽内部页面，而不是目录页面。默认实现协议后，蜘蛛会抓取网站的其他页面。 应被阻止的4页: (1)垃圾页面 (2)没有价值的页面 (3)你想屏蔽不想搜索的页面。 例如:不允许:/a允许:/a/1 a:对于目录1:对于页面 注意:机器人在获得许可后执行屏蔽，不管许可是放在前面还是后面。 5动态页面屏蔽 示例:阻止以下链接 wins8899/forum.php？kjsnfn = modcp & amp动作=成员& ampop=ban wins8899/forum.php？msdffs=modcp&。动作=成员& ampop=ban wins8899/forum.php？rtytry=modcp&。动作=成员& ampop=ban wins8899/forum.php？srfsrrre = modcp & amp动作=成员& ampop=ban 风格是:不允许:/forum.php？* 注意:不允许:/*？*屏蔽所有动态页面 $:表示终止符，例如:disallow: /forum.php$ 注意:$ terminator通常用于jpg图片和文件夹，例如:1.jpg 2 . txt 此样式不允许:/a/*。jpg $表示在A文件夹下被阻止的所有jpg图片 6机器人的作用 1.你可以屏蔽网站的死链接 屏蔽网站的死链接。大量死链接影响客户体验，浪费各大搜索引擎对蜘蛛的资源。大量的死链接会导致网站权利的减少。 二.重复的页面和没有文本的页面 比如:注册页面，每个客户注册的时候，文字是一样的，但是路径不同。这种页面称为重复页面和无文本页面 3.多路径下的同一个页面，比如:动态网站，访问时出现动态路径，但是如果是伪静态的，那么伪静态的URL和动态路径是一样的 然后你用机器人操作的时候，可以屏蔽掉不参与排名的路径。通常是它挡住了漫漫长路 4.不要给一个页面多个入口 7写机器人要注意的一些事情 I .添加/例如:不允许:/a 2.不要屏蔽目录。如果屏蔽到目录会导致体重减轻。
标题：「营销技巧」互联网营销中的robots.txt的操作 运用细节
地址：http://www.wenfangge.com/rwfb/4588.html
注明“来源：文芳阁”的所有作品，版权均属于文芳阁软文推广平台，未经本网授权不得转载、摘编或利用其它方式使用上述作品，如有对内有异议请及时联系btr2030@163.com，本人将予以删除。
