用python语言编写爬虫程序的思路
python爬虫怎么写循环爬取多个页面？
python爬虫怎么写循环爬取多个页面？
动态加载的数据都是用户通过鼠标或键盘执行了一定的动作之后加载出来的。
所以我们通过selenium提供的webdriver工具调用本地的浏览器，让程序替代人的行为，滚动页面，点击按钮，提交表单等等。从而获取到想要的数据。所以我认为，使用selenium方法爬取动态页面的中心思想是模拟人的行为。
用c语言编写一个网络爬虫需要什么基础？
我一周前做出了一个可以用的简单爬虫，用的python语言，之前没学过python，跟着学校水过C语言，大概就是这个基础水平，做这个爬虫用了两周的课下时间。我现在还在继续学习相关的东西，可以说我是正在经历从完全不懂的门外汉到入门的过程，当然现在还是一个小白。
以下内容仅就我个人的经验说的（经验非常少，入门尚浅），仅供参考，大牛不要笑；）
目标：1.认识python
2.入门爬虫
3.做一个简单爬虫
准备：
1.网上下载《自己动手写网络爬虫》（资源非常多），挑有用的地方看，看第一单元不牵扯代码解析部分的东西，就是让你懂爬虫怎么工作的，基础知识。这本书用的语言是Java，代码不能借鉴，看原理就好。
2.自己安装一下python和scrapy，本来python是肯定要安装配置的，然后scrapy是之后做复杂之后用得上的基础框架。安装过程中深刻领悟一把python，这是个熟悉工具的过程。我说不具体，就是自己纠结着安装的过程会让你对python的理解更进一步，这是个从无到有的过程。贴一个自己安装后总结出来的经验帖，比一般的经验帖还要适合小白使用，之所以要写这个经验帖是因为之前自己安装的过程都是辛酸的泪水啊：42/100Days windows环境下搭建爬虫框架Scrapy（女生版）
，我是windows系统，如果别的系统下的，只好自行搜索了。
3.直接做一个小项目，项目是入门的最佳方法，模仿也是很有效的学习手段。网上有很多关于python爬虫的小项目，找个最简单的照做一边下来，就跟知道了1 12之后，3 5，9 12，这些都至少知道怎么往下了，复杂的爬虫项目其实也是在最简单项目的基础上拓展延伸调整组合出来的。这里继续恬不知耻的把我自己刚刚写爬虫的实践经验贴出来：47/100Days 零基础基于python2.7的爬虫实例
，供选择参考，网上还有很多其他的小项目的教程，也可以找别的感兴趣的来照着先做一个。最后，其实我也是一个正在努力入门的菜鸟，不免会有错误或者短见之处，希望大家可以一起交流~