使用python删除excel表格重复行。
# 导入pandas包并重命名为pd import pandas as pd # 读取Excel中Sheet1中的数据 data = pd.DataFrame(pd.read_excel('test.xls', 'Sheet1')) # 查看读取数据内容 print(data) # 查看是否有重复行 re_row = data.duplicated() print(re_row) # 查看去除重复行的数据 no_re_row = data.drop_duplicates() print(no_re_row) # 查看基于[物品]列去除重复行的数据 #wp = data.drop_duplicates(['物品']) #print(wp) # 将去除重复行的数据输出到excel表中 no_re_row.to_excel("test2.xls")
补充知识:Python数据预处理(删除重复值和空值)
pandas几个函数的使用,大数据的预处理(删除重复值和空值),人工删除很麻烦
Python恰好能够解决
注释很详细在这不一一解释了
###################################### ##### 读写excel(xls\xlsx)文件 import pandas as pd import numpy as np df_excel = pd.read_excel('data3.xlsx') print('数据量行*列',df_excel.shape) # # df_excel.to_excel('df_excel.xlsx',header=None)#生成文件保存,无表头 print('数据集中存在重复观测的数量:\n',np.sum(df_excel.duplicated())) #F为不存在,T为存在,用sum显示重复的数量 print('删除行重复后的数据\n',df_excel.drop_duplicates(subset=None,keep='first',inplace=None))#excel文件中设定第一和第二行为重复行,结果删除了第二行保留第一行 ###df_excel.drop_duplicates(subset=['A','B'],keep='first',inplace=True) #### 代码中subset对应的值是列名,表示只考虑这两列,将这两列对应值相同的行进行去重。默认值为subset=None表示考虑所有列。 #####keep='first'表示保留第一次出现的重复行,是默认值。keep另外两个取值为"last"和False,分别表示保留最后一次出现的重复行和去除所有重复行。 #####inplace=True表示直接在原来的DataFrame上删除重复项,而默认值False表示生成一个副本 print('数据集列中是否存在缺失值:\n',df_excel.isnull().any()) #F为不存在,T为存在 print('每一行的缺失值个数:',df_excel.isnull().sum(axis=1)) print('每一列的缺失值个数:',df_excel.isnull().sum(axis=0)) ####### df.isnull().sum(axis=0)每一列的缺失值个数 #####df.isnull().any()则会判断哪些”列”存在缺失值 df=df_excel.dropna() print(df_excel.dropna(thresh=5)) # #axis=0: 删除包含缺失值(NaN)的行 # #axis=1: 删除包含缺失值(NaN)的列 # # how=‘any' :要有缺失值(NaN)出现删除 # # how=‘all': 所有的值都缺失(NaN)才删除 # 还有一个thresh参数 # thresh=n,保留至少有 n 个非 NaN 数的行 ######drop用法 print(df_excel.drop(['edu'],axis=1))#按照列删除edu这一列 print(df_excel.drop([0],axis=0))#按照行删除0这一行
以上这篇python 删除excel表格重复行,数据预处理操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
2024年09月21日
2024年09月21日
- 归龙潮中浦城区福鼠位置在哪 中浦城区福鼠收集位置大全
- NewViennaOctetViennaWindSoloists-TheDeccaRecordings(2024)18CD[24-48][FLAC]-9
- MatteoPasqualini-JohannSebastianBachItalienischesKonzertFranzsischeOuvertureVierDue
- 【雨果唱片】陈百强《梦里人LPCD45》2012[WAV+CUE]
- 《黑神话》纪录片9月20日上线!揭秘关卡为何删减
- 游戏科学估值已和育碧市值相当:后者有两万多名员工
- 黑神话第81周目Boss伤害有多恐怖?起手伤害直接秒
- 群星.2009-原班情歌2CD【SONY】【WAV+CUE】
- 群星.2024-长乐曲电视剧原声带【TME影音】【FLAC分轨】
- 群星.1993-烧得厉害VOL.1好戏好歌唱不停【滚石】【WAV+CUE】
- 那英《幸福的泪 磁性和爆发力完美展现 2CD》[WAV/分轨][600MB]
- 《宝丽金辉煌60年 女人篇3CD》[WAV+CUE][1.5G]
- 《年度十大发烧唱片精选 唱片榜获奖作品 2CD》[WAV/分轨][1GB]
- 归龙潮三枚天灯碎片位置在哪 笼律鸟任务天灯图文位置
- 归龙潮新手开荒阵容怎么搭配 新手前期阵容养成攻略