李让博客

很多情况下，比如分类，筛选，程序等原因造成网站存在大量重复的页面，或者会被SE认为重复的页面，这样的危害会很大，需要把它们禁止收录。

不得不说谷歌爬虫的抓取能力很强悍，希望它抓取的抓取了，不希望的丫也抓取了，在很多情况下Robots和nofollow已经组织不了谷歌了！

百度的情况好些，本来自己的抓取能力就弱些，稍微用点技巧就解决了，再者百度的网站管理员后台可以批量删除不希望收录的链接。

谷歌的管理员后台只能一条一条的删除，这样要大量删除链接的话将会是一件枯燥的工作，所以写了个小脚本来代替人工。

这样的小脚本对于应付这样的大量重复性工作很有帮助，代码简单，方便，很简单的东西，发出来丰富下大家的思路。

弊端就是单线程，程序运行时候基本不可以做其他工作。

如果因为管理员后台改版什么的造成软件失效，在自己没有需求的情况下基本不会升级。

其实这种小工具的通用性不是很好，因为网速或者其他一些原因，只是给大家一个思路吧，能给机器做的就不要人工了。

操作步骤很简单，就不演示了，一看就明白的。

要删除的url源文件要做成.txt格式的，一条url占据一行，文件名自定就行：

上两张图吧：

开始：

结束：

最后把下载放在光年论坛吧，占用光年的空间，邪恶了：http://www.gnbase.com/thread-9573-1.html