对于初学Python新人而言，python爬虫无疑是一个最重要的技术因素，怎样才能让爬虫运行自如，得心应手，这是我们需要学习的一大重点。如何才能一只python爬虫如行自如，逐渐的健壮起来呢？我们必须注意以下几点，避开误区步入正规。

如何让python爬虫逐渐的健壮起来？

1、爬虫必须增加容错处理，不能因为一个错误就终止整个程序；

2、重要的内容请时刻保存为文件，防止程序异常终止时，丢失所有已爬取信息；

3、最好增加错误清单：当面对大量数据时，很难说一次就能成功爬取全部内容，当产生不期的错误时，将爬取失败的此条链接保存下来（文件），以便于后面分析错误原因和再次爬取。

4、最好能分步骤爬取，减少失败风险，如第一步爬取所有链接，第二步再爬取所有链接内的内容；

5、爬取过程适当显示关键点信息（如成功访问网页后可显示网页title），便于知道每一小段程序运行状态，就算出错了也能知道错在那一块。

6、优秀的爬虫多次爬取不会重复：“不会重复”是指不产生重复内容，也不重复爬取。最好的爬虫是能够在程序异常中断后，再启时可以从任何位置开始爬取；次之的爬虫则是每次爬取时增加重复判断功能；

7、人道主义，爬取不可太频繁占用网站服务器，也是为了避免自己被反爬限IP。

谨防以上七点，让我们的爬虫一步步成长起来，健壮起来，功能强大起来，这就是python爬虫修炼起来的必经阶段。