有点意思

0 前言

我在简书关注的一位大佬发了一篇文章,文章大意是一个简书用户假意约稿,其实是想让别人关注微信公众号,大佬写代码去爬取该用户的动态,发现该用户真的是在骗人。

具体细节请看文章:https://www.jianshu.com/p/35a85ee14f7b

我把大佬的代码复制到本地运行,发现没有把第一页的动态保存下来,于是添加了一点点代码把代码完善了一下。

1 环境说明

Win10 系统下 Python3,编译器是 Pycharm,需要安装 requests、lxml这两个包。

这里只介绍 Pycharm 安装第三方包的方法。

2 相关代码

import requests
from lxml import etree

my_header = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"

res = requests.get(url='https://www.jianshu.com/users/93022c8a49c5/timeline', headers={'user-agent': my_header})

if '大神带我来搬砖' in res.text:
    print('找到了')
page = etree.HTML(res.text)
last_li = page.xpath('''//ul[@class="note-list"]/li[last()]''')[0]
max_id = int(last_li.get('id').split('-')[1]) - 1

file = open("activity.txt",'w',encoding='utf-8')
file.write(res.text)
file.write("\n")

page = 2
while True:
    res = requests.get(url='https://www.jianshu.com/users/93022c8a49c5/timeline?max_id=%s&page=%s' %(max_id,page),
        headers={'user-agent': my_header, 'X-INFINITESCROLL':'true'})

    last_li = etree.HTML(res.text).xpath('''/html/body/li[last()]''')[0]
    max_id = int(last_li.get('id').split('-')[1]) - 1
    page = page + 1
    file.write(res.text)
    file.write("\n")
    if '加入了简书' in res.text:
        print('end')
        break

file.close()

这里我爬的是我简书账号的动态,如果想爬取别人的动态需要去拿到动态链接,进去他的主页,在动态那点击一下鼠标右键,然后复制链接地址或者在新标签页打开链接 替换一下图中圈住的链接

如果想搜索的不是『大神带我来搬砖』可以自行替换

实际运行结果如图 还有一个名字是 activity.txt 的文件在和代码同一级的文件目录下,打开进行搜索就是了。

3 相关说明

大佬的文章链接:https://www.jianshu.com/p/35a85ee14f7b

感谢大佬『大神带我来搬砖』写的代码,感谢大佬同意我水一篇文章

在我写完这篇文章的时候才知道大佬又写了一篇,不过实现方式和代码有所不同,这里也给出链接:https://www.jianshu.com/p/fdb3cf39f295