请问如何更快速有效的爬网站？

要是我爬别人的网站，就会先把需要爬的url保存在TXT，或者Excel文件里。

用按键精灵打开浏览器，模拟手动（快捷键或者鼠标点击）输入TXT或者Excel的网址。

然后模拟手动全选，然后用 处理字符串函数，mid，right，left，len，instr 这些提取需要的字符串。

然后保存到Excel，或者是 txt 。

这样做其实很费机器，CPU使用很高，而且网速占用也很高。因为要加载很多不需要的图片，如图片，flash，mpg文件等。
而且经常出错，可能是excel出错，也可能是脚本出错，很多时候是浏览器出错。

请问大家，你们是怎么做的呢？

我目前会php，MySQL，JavaScript，jQuery，ajax 等编程语言。对json，xml，html 的数据，也都了解了。

希望大家结合我会的，当然以方便为主，有更方便的也可以告诉一下。

另外对于浏览器的调试信息，也就是f12的面板，我就会看js的输出。

只要有思路，欢迎大家回答，我起点低，基本是个回答都对我有帮助，谢谢了!