华山资源网

利用Python如何实时检测自身内存占用
脚本专栏 2024/9/26 佚名
3 1

前言

最近在做文本统计，用 Python 实现，遇到了一个比较有意思的难题——如何保存统计结果。

直接写入内存实在是放不下，十几个小时后内存耗尽，程序被迫关闭。如果直接写入数据库吧，每次写入又太慢了，本来就十几个小时了，这样下去就要往星期上数了，也不是个办法。

解决方案

最后，我想到了一个两者兼顾的方案——用内存做缓冲，达到一定量之后一次性将当前所有数据合并到硬盘里。

但这样就有一个阈值，如何确定同步硬盘的时机，通常可以按照文件粒度进行处理，比如处理一个语料文件同步一次……但我的语料有大有小，大的有10GB，根本等不到那一刻内存就爆炸了，后来我想用统计数据量进行判断……可这又有点难以估计，小了吧频繁写入，缓存的意义就不大了，大了吧还没等到条目数量达到，内存就已经爆满。另外考虑到将来程序会运行在不同配置的设备上，让其他开发者根据自身情况计算这个阈值也有点太不友好，于是我想到了一个办法——不如让 Python 自己检测自己的内存占用，如果快满了（或者达到阈值），就同步写入硬盘一次。

对于其他开发者来说，自身设备的内存多大是很容易查看的，根据系统运行状况设置一个合理的阈值，相当方便。

要用 Python 监控自身内存占用，要使用 psutil 这个库来和系统进行交互，基本逻辑就是先拿到自己的 pid ，然后根据这个 pid 去跟系统获取进程信息。

def get_current_memory_gb() -> int:
# 获取当前进程内存占用。
pid = os.getpid()
p = psutil.Process(pid)
info = p.memory_full_info()
return info.uss / 1024. / 1024. / 1024.

比如我系统是 32GB 内存，那么我设置个 20GB 就相当安全，用 Python 进行统计语料，数据多到进程占用 20GB 内存了，就把当前的数据写入硬盘，同步统计数据，然后清空程序里的字典缓存释放内存。

python之psutil

psutil是个跨平台库，能够轻松实现获取系统运行的进程和系统利用率，包括CPU、内存、磁盘、网络等信息。

Linux系统下的安装

pip install psutil

总结

华山资源网 Design By www.eoogi.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
华山资源网 Design By www.eoogi.com
www.eoogi.com 华山资源网
120,135影音资源
344,641技术资源
22,817软件资源
435,032站长资源

P70系列延期，华为新旗舰将在下月发布

3月20日消息，近期博主@数码闲聊站 透露，原定三月份发布的华为新旗舰P70系列延期发布，预计4月份上市。

而博主@定焦数码 爆料，华为的P70系列在定位上已经超过了Mate60，成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢？

根据目前爆料的消息来看，华为P70系列将推出三个版本，其中P70和P70 Pro采用了三角形的摄像头模组设计，而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智，但辨识度绝对拉满。

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接
华山资源网 Design By www.eoogi.com