前言
大家都知道,在Linux Shell中提供两个非常实用的命令来爬取网页,它们分别是 curl 和 wget,本文将给大家详细介绍关于在Linux Shell中curl和wget使用代理IP的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看吧。
curl 和 wget 使用代理
- curl 支持 http、https、socks4、socks5
- wget 支持 http、https
代理示例:
#!/bin/bash # # curl 支持 http、https、socks4、socks5 # wget 支持 http、https # # 米扑代理示例: # http://proxy.mimvp.com/demo2.php # # 米扑代理购买: # http://proxy.mimvp.com # # mimvp.com # 2015-11-09 # http代理格式 http_proxy=http://IP:Port # https代理格式 https_proxy=http://IP:Port {'http': 'http://120.77.176.179:8888'} curl -m 30 --retry 3 -x http://120.77.176.179:8888 http://proxy.mimvp.com/exist.php # http_proxy wget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http://proxy.mimvp.com/exist.php # http_proxy {'https': 'http://46.105.214.133:3128'} curl -m 30 --retry 3 --proxy-insecure -x http://46.105.214.133:3128 -k https://proxy.mimvp.com/exist.php # https_proxy wget -T 30 --tries 3 --no-check-certificate -e "https_proxy=http://46.105.214.133:3128" https://proxy.mimvp.com/exist.php # https_proxy # curl 支持socks {'socks4': '101.255.17.145:1080'} curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http://proxy.mimvp.com/exist.php {'socks5': '82.164.233.227:45454'} curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http://proxy.mimvp.com/exist.php # wget 不支持socks
wget 配置文件设置代理
vim ~/.wgetrc http_proxy=http://120.77.176.179:8888:8080 https_proxy=http://12.7.17.17:8888:8080 use_proxy = on wait = 30 wget -T 30 --tries 3 http://proxy.mimvp.com
Shell 设置临时局部代理
# proxy no auth export http_proxy=http://120.77.176.179:8888:8080 export https_proxy=http://12.7.17.17:8888:8080 # proxy auth export http_proxy=http://username:password@120.77.176.179:8888:8080 export https_proxy=http://username:password@12.7.17.17:8888:8080 # 取消设置 unset http_proxy unset https_proxy
Shell 设置系统全局代理
# 修改 /etc/profile,保存并重启服务器 sudo vim /etc/profile # 所有人有效 或 sudo vim ~/.bashrc # 所有人有效 或 vim ~/.bash_profile # 个人有效 # proxy no auth export http_proxy=http://120.77.176.179:8888:8080 export https_proxy=http://12.7.17.17:8888:8080 # proxy auth export http_proxy=http://username:password@120.77.176.179:8888:8080 export https_proxy=http://username:password@12.7.17.17:8888:8080 source /etc/profile 或 source ~/.bashrc 或 source ~/.bash_profile sudo reboot
米扑代理示例
米扑代理示例,包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易语言等十多种编程语言或脚本,通过大量的可运行实例,详细讲解了使用代理IP的正确方法,方便网页爬取、数据采集、自动化测试等领域。
米扑代理示例,测试使用的代理IP,全部来自于米扑代理,其覆盖120多个国家,中国34个省市,支持http、https、socks4、socks5等
米扑代理示例官网 :http://proxy.mimvp.com/demo2.php
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对的支持。
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。
更新日志
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]