1、如果你是不想让蜘蛛抓取页面某些内容的话，可以把那段内容写进js或者是frame框架里边，由于现在frame现在慢慢被淘汰了，因为蜘蛛现在暂时无法识别解释这两块内容，但是蜘蛛是会进步的，未来能不能正确识别，就不得而知了，这个从某个程度上说是一个小黑帽手法了。
2、如果你是不想让蜘蛛抓取某些页面的话，可以通过robots.txt来控制，这个是一个搜索引擎协议，告诉搜索引擎不要抓取网站的这些内容，写好robots.txt文件，放到网站根目录下即可，具体写法可参考《百度经验》：http://jingyan.baidu.com/article/eb9f7b6dab75ca869364e8d2.html
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024