删除有多行字符串的json文件中的离群值
def processHold(eachsubject,directory,newfile): filename = 'CMUDataCol/Hold/subject{0}.json'.format(eachsubject) # 原文件 with open(filename, 'r') as f: for jsonstr in f.readlines(): # 按行读取原文件 # 这里的情况是每一行为一类数值,该行内的数据相互比较找出是否有离群值 # 若存在离群值,则删除该行数据 data = json.loads(jsonstr) #计算四分位点 a = numpy.array(data) q1 = numpy.percentile(a, 25) q3 = numpy.percentile(a, 75) iqr = q3 - q1 # 找出异常值 i = 0 for item in zip(data): # 在正常值范围内时 i+1 if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr): i = i + 1 if i == 10: # 这里是因为我的json文件中每行data有10个元素(如果有更好的方法,请教我一下,谢谢您!) HoldTime = data with open(newfile, 'a') as f: # 将非离群数据存入新文件 json.dump(HoldTime, f) f.write('\n')
补充知识:dataframe 离群值处理
离群值:远离数据主要部分的样本(极大值或极小值)
处理方式:
删除:直接删除离群样本
填充样本:使用box-plot定义变量的数值上下界,以上界填充极大值,以下界填充最小值
# 查看房价的离群情况 df['average_price'].hist() plt.show() df[['average_price']].boxplot() plt.show()
# 根据箱线图的上下限进行异常值的填充 def boxplot_fill(col): # 计算iqr:数据四分之三分位值与四分之一分位值的差 iqr = col.quantile(0.75)-col.quantile(0.25) # 根据iqr计算异常值判断阈值 u_th = col.quantile(0.75) + 1.5*iqr # 上界 l_th = col.quantile(0.25) - 1.5*iqr # 下界 # 定义转换函数:如果数字大于上界则用上界值填充,小于下界则用下界值填充。 def box_trans(x): if x > u_th: return u_th elif x < l_th: return l_th else: return x return col.map(box_trans) # 填充效果查看 boxplot_fill(df['average_price']).hist() # 进行赋值 df['average_price'] = boxplot_fill(df['average_price']) plt.show()
以上这篇python:删除离群值操作(每一行为一类数据)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
更新日志
2024年11月20日
2024年11月20日
- 群星《一人一首成名曲》1998 台湾金碟珍藏版[WAV+CUE][1.1G]
- 陈百强2024-《凝望》头版限量编号MQA-UHQCD[WAV+CUE]
- 测试示范《监听天碟3》头版限量编号LECD[WAV+CUE]
- 陈瑞《爱你到天荒地老HQ》头版限量[低速原抓WAV+CUE]
- 徐小凤 《徐小凤殿堂18首》24K金碟[WAV+CUE]
- 保时捷原厂车载爆棚动态试音碟《Panamera_Soundtrack》DTS[WAV分轨][1G]
- 容祖儿《小小》香港首版 [WAV+CUE][1.1G]
- 莫文蔚《拉活…》SONY [WAV+CUE][1G]
- Beyond《极品天碟》LPCD45II首批限量版[WAV+CUE][1.7G]
- HIFI示范巅峰之作《情解药·Hi-Fi心魂》2CD[WAV+CUE]
- 房东的猫2021-关于彻夜不眠的事情(EP)[青柴文化][WAV+CUE]
- 群星.1993-一曲成名·青春无悔【飞碟】【WAV+CUE】
- 张芸京.2016-失败的高歌【泡耳音乐】【WAV+CUE】
- 天籁女声《2024第31届上海国际高端音影展纪念CD》[WAV+CUE][1.1G]
- 姚斯婷 《敢爱敢做》头版限量编号24K金碟[低速原抓WAV+CUE][1.2G]