在使用pymongo时遇到了一个小坑:
在Flask框架中,将字典插入mongodb后再返回就报错
@app.route('xxxx') def main(): ... data = { 'a':'a', 'b':'b' } mycol.insert_one(data) return data
Traceback (most recent call last): File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2464, in __call__ return self.wsgi_app(environ, start_response) File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2450, in wsgi_app response = self.handle_exception(e) File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1867, in handle_exception reraise(exc_type, exc_value, tb) File "/home/xiang/.local/lib/python3.6/site-packages/flask/_compat.py", line 39, in reraise raise value File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2447, in wsgi_app response = self.full_dispatch_request() File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1953, in full_dispatch_request return self.finalize_request(rv) File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1968, in finalize_request response = self.make_response(rv) File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2112, in make_response rv = jsonify(rv) File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 370, in jsonify dumps(data, indent=indent, separators=separators) + "\n", File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 211, in dumps rv = _json.dumps(obj, **kwargs) File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/__init__.py", line 412, in dumps **kw).encode(obj) File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 298, in encode chunks = list(chunks) File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 696, in _iterencode for chunk in _iterencode_dict(o, _current_indent_level): File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 652, in _iterencode_dict for chunk in chunks: File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 716, in _iterencode o = _default(o) File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 100, in default return _json.JSONEncoder.default(self, o) File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 273, in default o.__class__.__name__) TypeError: Object of type ObjectId is not JSON serializable
这是由于pymongo在进行插入操作时,如果字典中没有‘_id',会自动添加‘_id',而它的值为ObjectId实例,flask在对返回值进行编码时无法编码ObjectId类型实例,所以报错,解决办法就是去掉‘_id'或者mycol.insert_one(data.copy())
补充知识:pymongo去重: 插入数据时,不存在则插入,存在则不执行
爬虫想把爬取的数据存入到mongoDB中, 这时候经常遇到的一个需求就是插入的数据已经存在数据库中, 因此插入前去重就是一个经常性的课题.
我的想法是:
如果数据库中已经存在这个数据, 那么就什么也不操作
如果数据不存在, 则插入这个数据
为了实现这个想法, 查了很多文献, 发现使用update 可以实现
下面就是我测试的代码
# 首先在数据中插入一条数据 document = { 'p_id': 'f75046d73a0c4bf88f0b7342e60722c4', 'c_name': 'Ken', 'c_star': '5.0', 'bought': None, 'c_time': '2017年3月23日', 'c_userful': 13, 'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので', '「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。'], 'gmt_create': datetime.now().strftime('%Y-%m-%d %H:%M:%S'), } collection.insert(document)
通过mongoDB可视化工具查看数据库,发现数据已经存在
要实现如果不存在就插入,如果存在就不插入的要求,我们需要用到 update的一个参数:‘$setOnInsert'
$setOnInsert官方文档点击查看
通过阅读官方文档我们可以发现 与$setOnInsert方法想配合的最重要的参数就是 upsert:True
update源码中的upsert参数默认为False,只需要将update方法的upsert参数修改为True是否就能达到需要的效果呢?
现在我们执行相同数据的插入看看效果
# 首先需要限定一个重复的条件,比如我们想除了gmt_create参数以外,全部不一样就算不重复, 先限定一个条件 result_find = { 'p_id': 'f75046d73a0c4bf88f0b7342e60722c4', 'c_name': 'Ken', 'c_star': '5.0', 'bought': None, 'c_time': '2017年3月23日', 'c_userful': 13, 'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので', '「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。'] } # 执行 update collection.update( result_find, {'$setOnInsert': document}, upsert=True )
执行完之后, 去数据库中查看,发现还是原来的那条数据, 并没有多出一条来, 说明可以实现 如果存在就不操作的要求
那么能实现 如果不存在就插入的要求吗"htmlcode">
然后我们发现数据中出现了我们想看到的这条数据 所以, 实现了我们的要求: 存在则不操作, 不存在则插入. 以上这篇解决Pymongo insert时会自动添加_id的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
document = {
'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
'c_name': 'Ken',
'c_star': '5.0',
'bought': None,
'c_time': '2017年3月23日',
'c_userful': 13,
'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので', '「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。'],
'gmt_create': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
}
result_find = {
'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
'c_name': 'Ken',
'c_star': '5.0',
'bought': None,
'c_time': '2017年3月23日',
'c_userful': 13,
'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので',
'「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。']
}
# collection.insert(document)
collection.update(
result_find,
{'$setOnInsert': document},
upsert=True
)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。
更新日志
- 罗大佑-无法盗版的青春套装版10CD【WAV】
- 张学友《意乱情迷》蜚声环球 2024 [WAV+CUE][1G]
- 柏菲《好歌30年特别版2CD》最好听的影视歌曲[低速原抓WAV+CUE][1G]
- 张学友《世纪10星·永恒篇》香港版[WAV+CUE][1G]
- 模拟之声慢刻CD《刘德海.琵琶独奏精逊【低速原抓WAV+CUE】
- Jamettone-18052023—improv(EDit)(2024)【FLAC】
- 【索尼精芽20首最棒的苏格兰歌曲集【FLAC】
- 池约翰C.J《少年白马醉春风2 动画原声带》[320K/MP3][26.67MB]
- 池约翰C.J《少年白马醉春风2 动画原声带》[FLAC/分轨][144.13MB]
- 陈致逸《幻想乐园 Fantasyland》[320K/MP3][120.54MB]
- 席卷全球最红舞曲《火辣辣DJ[英文版]》[DTS-WAV]
- 群星-席卷全球最红舞曲《火辣辣DJ中文版》【WAV】
- 模拟之声慢刻CD《声入人心[年度发烧人声严选]》[低速原抓WAV+CUE]
- 陈致逸《幻想乐园 Fantasyland》[FLAC/分轨][554.27MB]
- Rhymist / LusciousBB《年轮》[320K/MP3][76.52MB]