您好,欢迎来到二三四教育网。
搜索
您的当前位置:首页Python第一个项目:爬取个人简书主页文章信息

Python第一个项目:爬取个人简书主页文章信息

来源:二三四教育网

前面两篇安装完成了爬虫所需要的环境和工具,也踩了几个坑之后,今天开始写代码,开始写python第一个项目,把自己的简书简书主页文章信息爬取下来。首先确保已经安装 requests和lxml模块,如果没有安装,可以使用命令安装。

1:新建一个.py 文件写代码
在项目上右键,点击New,选择Python File

2:给file取个名字,点击回车确定。系统会默认生成first.py 文件


3:在first.py 文件写上以下代码

import requests
from lxml import etree
import os
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'}
for i in range(1,4):
    url_ = 
    res = requests.get(url_,headers=headers)
    res = etree.HTML(res.content.decode())
    nodes = res.xpath('//ul[@class="note-list"]/li')
    for node in nodes:
        item = {}
        title = node.xpath('.//a[@class="title"]/text()')
        time = node.xpath('.//span[@class="time"]/@data-shared-at')[0]
        abstract = node.xpath('.//p[@class="abstract"]/text()')[0]
        img = node.xpath('.//img[@class="  img-blur-done"]')
        url = 
        item['title'] = title
        item['time'] = time
        item['url'] = url
        item['abstract'] = title
        item['img'] = time
        print(item)

4:在文件上鼠标右键点击运行按钮。

5:在控制台上可以看到运行结果
爬取到了个人简书主页文章信息,也可以将这些json数据封装成接口,在要使用到的地方调用即可。


Copyright © 2019- how234.cn 版权所有 赣ICP备2023008801号-2

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务