背景
今天突然想到之前被要求做同性质银行的数据分析。妈耶!十几个银行,每个银行近5年的财务数据,而且财务报表一般都是 pdf 的,我们将 pdf 中表的数据一个个的拷贝到 excel 中,再借助 excel 去进行求和求平均等聚合函数操作,完事了还得把求出来的结果再统一 CV 到另一张表中,进行可视化分析…
当然,那时风流倜傥的 老Amy 还熟练的玩转着 excel ,也是个秀儿~ 今天就思索着,如果当年我会 Python 是不是可以让我成为班级最靓的崽!用技术占领高地,HHH,所以今天我来了,希望可以帮助大家解决同性质的问题。
开始学习叭
避免CV大法
pdf 文件的表格的数据可以复制,但是这是一项非常繁琐的事情。所以我首先考虑的是,Python 可否帮助我们高效且规范地读取 pdf 中的表格数据。所以一顿的检索,发现了一个比较优质处理 pdf 的库:pdfplumber,当然这个库需要大家 pip install pdfplumber 去进行安装。以及详细使用可参考全球最大基友社区:https://github.com/jsvine/pdfplumber
步骤:
- 导入 pdfplumber 库
- 通过 pdfplumber.open() 函数 获取 mt2018.pdf 文件对象
- 通过该 对象.pages 获取 pdf 每页的对象,截取我们需要的页对象即可
- 通过 页对象.extract_tables() 获取表格数据(若需要获取文本:页对象.extract_text())
代码实现:
import pdfplumber # 获取 pdf 文件对象 pdf_mt = pdfplumber.open("mt2018.pdf") # 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可 for pdf_pg in pdf_mt.pages[50:53]: # 只提取当前页表格数据 print(pdf_pg.extract_tables()) -------------------------------------------------------------------------- 结果比较多,截取一部分: [[['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]]
将完整表保存到 csv 文件中
我们发现,返回的数据集是一个三维的列表。那么在我们平时处理的 excel 表格数据(行与列)都是二维的数据。那么,这多出的一维是什么呢?其实就是我们的夜[页]~ 再来一个循环取出二维数据进行保存即可
for pdf_pg in pdf_mt.pages[50:53]: for pdf_tb in pdf_pg.extract_tables(): print(pdf_tb) ------------------------------------------------------------------------------ 结果比较多,截取一部分: [['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]
但是,真的那么简单吗?这时,我们就需要细品我们的 pdf 了,如下图
我们发现,一张完整的资产负债表分布在多页上。也就是说,每一页的里面的表格数据都是一个三维的列表,所以我们保存数据的时候,需要让其有共同的表头(列索引),并且进行拼接。
那必须就要强推我们的 pandas 了,pandas.DataFrame() 非常完美的创建表格式的二维数组,以及指定列索引(表头)。包括可以直接 使用 df.append() 进行共同表头数据的堆叠拼接。
import pdfplumber import pandas as pd import numpy as np # 创建仅有表头的 dataframe 数组 pdf_df = pd.DataFrame(columns=['项目', '附注', '期末余额', '期初余额']) # 获取 pdf 文件对象 pdf_mt = pdfplumber.open("mt2018.pdf") # 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可 for pdf_pg in pdf_mt.pages[50:53]: # 获取二维列表 for pdf_tb in pdf_pg.extract_tables(): # 将其拼接 pdf_df = pdf_df.append(pd.DataFrame(np.array(pdf_tb),columns=['项目', '附注', '期末余额', '期初余额'])) # 显示后五条 pdf_df.tail()
dataframe数据输出如下:
pdf 53页如下:
实际上,大家也发现,我们获取的最后一页的数据还有一部分是另一个表的,所以我们需要将其去除,并且有序的设置行索引,再保存到 csv 文件中。
# 去除后三行 pdf_df = pdf_df.iloc[:-3,:] # 重置索引 pdf_df = pdf_df.reset_index(drop=True) # 保存到 csv 文件中 pdf_df.to_csv("mt_2018.csv")
当然,今天就到这里,其它的需求我们下次给大家完善。大家也可以自己将代码封装成函数,这样就可以实现传入 pdf文件名称、页数以及保存的文件名来复用代码。如果大家再掌握了 pandas 就可以根据自己的需求,对各个表格数据进行处理。再结合 seaborn 绘图可视化,完爆 excel ~ 快学习起来叭,GOGOGO
以上就是Python读取pdf表格写入excel的方法的详细内容,更多关于Python读取pdf表格写入excel的资料请关注其它相关文章!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?
更新日志
- 国风大师纯音系列《民乐琴王童丽-与古筝的约会》1CD[MP3][166.4MB]
- 刘美君.1993-被你纵坏【SONY】【WAV+CUE】
- 黄鹤翔.1998-爱的咏叹调【中唱】【WAV+CUE】
- 薰妮.1983-梦+淡(2000年永恒真存双碟版)【永恒】【WAV+CUE】
- 方伊琪.1976-时光消逝(2015复黑限量版)【风行】【WAV+CUE】
- 群星.1990-宝丽金影视金曲巡礼【宝丽金】【WAV+CUE】
- 林俊杰.2014-新地球(精装预售“光”版)【华纳】【WAV+CUE】
- 国风大师纯音系列《王珣学院派独特的空灵古筝》1CD[FLAC][888MB]
- 国风大师纯音系列《古筝演奏家 付娜》1CD[FLAC][1.2GB]
- 国风大师纯音系列《古筝仙子 常静演奏 十指弹一》1CD[FLAC][919MB]
- DasKapital-OneMustHaveChaosInsidetoGiveBirthtoaDancingStar(2024)[24-44.1]WAV
- 王菲.1999-《只爱陌生人》日本东芝版[低速原抓WAV+CUE]
- 张小英1987-金奖金曲第一集[新加坡版][WAV+CUE]
- 鹿晗.2015-重启【海蝶】【FLAC分轨】
- 张芸京.2012-小女孩【金牌大风】【WAV+CUE】