使用python爬虫抓站的一些技巧总结:进阶篇

机器学习 1970 Views

数盟倡导“数据创造价值”,致力于打造最卓越的数据科学交流平台,为企业、个人提供最卓越的服务】

作者:observer专栏杂记

使用python爬虫抓站的一些技巧总结,总结了诸多爬虫使用的方法;那篇东东现在看来还是挺有用的,但是当时很菜(现在也菜,但是比那时进步了不少),很多东西都不是很优,属于”只是能用”这么个层次。这篇进阶篇打算把“能用”提升到“用得省事省心”这个层次。

一、gzip/deflate支持

二、更方便地多线程

怎么用twisted来进行批量网址处理的文章不错,由浅入深,深入浅出,可以一看。

三、一些琐碎的经验

四、总结

点击阅读原文,更多技术、资讯~

如未说明则本站原创,转载请注明出处:NULL » 使用python爬虫抓站的一些技巧总结:进阶篇