天哪，第一次表白竟要献给一个虫子和一条蝰蛇。
一只爬虫的起源
在写第一个爬虫之前先是发生了这么一件事，一个关于女神的故事。
在上个学期为考试而复习的那段时间里，天天早出晚归奔向图书馆，去得次数多了，便总能看到一个很特别的女生，慢慢地，被她的气质所吸引，她便成为了我的第一个女神（现在还是），一直到上学期结束，几乎每天都能看到她，然而我却因为太内向而没有抓住机会认识她，这个学期开学到现在，已经很少在图书馆看到她了，直到有一次，也只是看到她是从哪一层楼下来（我还是没有把握住机会，哭...），出于想要更多地了解她，但是她叫什么名字，在哪个班我都一无所知，好奇心总是能使人脑洞大开，于是用python写下了人生中的第一个爬虫，爬下了那一层楼以上的教室所在上课的同学（学校课表信息公开），然后再用这个学号信息去学校教务系统获取到这些同学的照片，经过比对，终于得到了女神的名字，班级，以及借阅信息。
嗯...不错，女神喜欢的书我也喜欢。
初识爬虫小分队
该不该搁下重重的壳
寻找到底哪里有蓝天
在经过上面的这样一件事后，一直喊了很久的口号——把python变成日常娱乐项，终于是要落地了，也真得很幸运遇见了爬虫小分队，特别感谢的有@liang, @程老哥，@攀攀老哥，@彭老师，每次和他们请教都特别有收获，并且在这一段时间的学习里也能够切实地感觉到自己的进步。
原来我的爬虫脚本是这样的：
image.png
最简单的单线程，只会用beautifulsoup，不会反ban策略，当时爬1000个数据便要差不多一个小时，也没有了解过数据库.
现在的脚本是这样的：
scrapy+mongodb虽然速度也没有快多少，但是较之前还是挺满足的。
这个是在python上的进步，在心态上也有一些改变，正如前面的歌词所说，该不该搁下重重的壳去寻找蓝天？种一棵树最好的时间是在十年前，其次就是现在，我们很多时候都是在背负着重重的壳前进，或者干脆不动，背负着来自外界环境的看法，背负着对自己的怀疑，背负着子乌虚有的假设。在追女神（还没行动...）时总是等机会流失后才后悔留下遗憾，在Python路上在怀疑一个会计学编程的必要性。但是当真正做起来，会发现和自己所想象的还是不一样的，比如在小分队的一个月中自己竟然参加了一个计算机系组织的比赛，自己竟然能够站在舞台上面对一大群的计算机系的同学讲解自己的数据分析PPT然后还拿了个三等奖，这是内向的自己从来没有想过的。在学习爬虫的过程中，也让自己的一些思维方式有了改变，比如xpath解析法，面向对象的思想，逻辑化程序化的思想，都是特别实用的。总之，还没向女神表白，就先和这一只虫子和一条蝰蛇表白下吧。python，我愿意献出我生命中的一部分的美好时光与你共同进化，陪伴便是最长久的告白。
一只可进化的爬虫
我要一步一步往上爬
在最高点乘着叶片往前飞