爬取微信公众号文章并保存为PDF文件(Python方法)

爬取微信公众号文章并保存为PDF文件(Python方法)

【相关学习推荐:微信公众号开发教程】

前言

第一次写博客,主要内容是爬取微信公众号的文章,将文章以PDF格式保存在本地。

爬取微信公众号文章(使用wechatsogou)

1.安装

pip install wechatsogou --upgrade

wechatsogou是一个基于搜狗微信5 # o I搜索的微信公众号爬虫接口

2.使用方法

使用方法如下所示

import wechatso. A y Q ` | ogou
# captcha_brZ n n deak_time为验证码输入错误的重试次数,默认为1
ws_api) q m P = wechatsogou.WechatSogouAPI(captcha_break_time=3)
# 公众号名称
gzh_name = ''
# 将该公众号最近10篇文章信息以字典形式返回
data = ws_api.get_gzh_article_by_history(gzh_name)

data数据结构:

{
'gzh': {
'wechat_name': '',  # 名称
'wechat_id': '',  # 微信id
'introduction': '',  # 简介
'authe? K ?ntication': '',  # 认证
'headimage': ''  # 头像
},
'article'F B y: [
{
'send_id': i7 H ) n +nt,  # 群发id,注意不唯一,因为同一次群发多个消息,而群发id一致
'datetime': int& ( _ 0,  # 群发datatime 10位时间戳
'type': '',  # 消息类型,均是t * `49(在手机端历史消息页有其他类型,网页端最近10条消息页只有49),表示图+ E q & -文
'main': int,  # 是否是一次群发的第一次消息 1 or 0
'title': '',  # 文章标题
'abstract': ; 4 O ^ h $ 2'',  #O ? q e 摘要
'fileid': int,  #
'content_url': '',  # 文章链接
'source_url': '',  # 阅读原文的链接
'cover': '',  # 封面图
'E m { X 9 X 0author'u ` Z ( [ ~ e i: '',  # 作者
'copyright_stat': int,  # 文章类型,例如:原创啊
},
...
]
}

这里需要得到两个信息:} W D e 2 %文章标w + %题,文章url。

得到文章url以后,就可以根据url将html页面转换成t Q W Lpdf文件了。

生成PDF文件

1.安装wkhtmltopdf

下载地. B W q址:https://wkhtmltopdf.org/downloads.html

2.安装pdfkit

pip install pdfkit

3.使用方法

import pdfkit
# 根据url生成pdf
pdfkit.from_url('http://baidu.com','out.pdf')
# 根据html文件生成pdf
pdfkit.from_file('test.html','ouR a m q k W Lt.pdf')
# 根据html代码生成pdf
pdfkit.from_stringE U y ( ! T *('Hello!','out.pdf')

如果直接用上面4 K 0 v ; S得到的文章url去生成pdf,会出现pdf文件不显示文章图片的# y @ - O ! P ;问题。

解决办法:

# 该方法根据文章url对html进行处理,使图片显示
content_info = ws_api.get_ar{ q = [ @ticle_content(url)
# 得到y ` Dhtml代码(代码不完整_ : i J l E K 9,需要加入head、body等标签)
html_code = content_info['content_html']

然后根 U T x /据html_code构造完整的html代码,调用pdfkit.from_string()方法生成pdf文O p , ) Z件,这时候会w . ` : n发现文章中的图片在pdf文件中显示出来了。

完整代码

imG R 6port os
import pdfkit
import datetime
impors W h 2 Q RtK a A ? I ; wechatsogou
# 初始化API
ws_api =? 2 G i Q wechatsogou.WechatSogouAPI(captchab 3 D , ; Z_U Z C { 9 $ . 8break_time=3)
def url2pdfv p & s(urh @ / ^ +l, ti] u G s s l rtle, targetPath):
'''
使用pdfkit生成pdf文件
:param url: 文章 4 Turl
:param titlei c z 0 O e: 文章标题
:param ta1 Y m / )rgetPath: 存储- I B r Ppdf文件的路径
'''
try:
content_info = ws_api.get_article_content(url)
exceh G i f G j L 6pt:
return Falsek N ; & _ X g
# 处理后的html
html = f'''
<!DOCTYPE html>
<html lang="en">
<[ H L W / - J N;head>
<meta charset="UTF-8">
<title>{v ! G etitle}</title>
</head>
<body>
<h2>{title}</h2>
{content_info['content_html']}
</body>
</html>
'v c z - 2 I F''
try:
pdfkit.from_string(html, targetPath + os.path.sep +} N Y ! f'{title}.pdf')
except:
# 部分文章标题含特殊字符,不能作为文件名
filename = daN w . z Xtetime.datetime.now().strftime('%Y%m%d%H%M%S') + '.pdf'
pdfkit.from_string(html, targetPath + os.path.sep + filename)
if __name__ == '__mainA a L e__6 C Z y 9 - # ;':
# 此处为要爬取公众号的名称
g@ ~ : N z P uzh_name = ''
targetPay V X +th = os.gety ( P ^ ^ cw% C s z Bd() + os.path.sep + gzh_naZ ! f O Qme
#/ X , d C P T S 如果不存在目标文件夹就进行创建
if not os.o 5 Y y 9 xpath.exists(targetPath):
os.makedirs(; # 7targetPath)
# 将该公众号最近10篇文章信息以字典形式返回
data = ws_api.get_gzh_article_by_history(gzh_name)
article_list = data['article']
for article in article_list:
url = article['content_url']
title = article['title']
url2pdf(url, title, targetPath)

相关学习推荐:python教程

以上就是爬取微信公众号文章并保存为PDF文件(Python方法)的详细内容。