在学习的时候,觉得爬虫挺有意思,看到某网页上小姐姐照片很美,就想保存下来,可是一张张保存实属有点慢,刚好学会一点点爬虫,就用上了。
用法很简单,安装相关库,直接运行以下代码,就直接下载下来了。
import requests
import json
import os
import time
if os.path.isdir("D:/爬取的数据/图片"):
print("程序正式开始啦!!!")
else:
os.mkdir("D:/爬取的数据/图片")
def requ():
x = 0
url = "http://floor.huluxia.com/post/list/ANDROID/2.1?"
send_url = "http://json.dimengkj.com//fb.php?"
data = {
"start":"0",#上一次返回的start值,用于继续加载(可不填)
"count":"999",#一次加载多少个(可不填)
"cat_id":"56",#版块ID(必填)
"tag_id":"5601",#标签ID(可不填)
"sort_by":"1",#排序类型 0 回复时间 1 发布时间 2 本版精华 (可不填,默认回复时间)
}
req = requests.get(url=url,params=data).json()
req = req["posts"]
for imges in req:
img_list = imges["images"]
img_list = set(img_list)
for img_url in img_list:
img_req = requests.get(url=img_url).content
name = img_url.split("/")[-1]
name_img = "D:/爬取的数据/图片/" + name
if os.path.exists(name_img):
print("这批数据爬取过啦!!!")
print("程序将在一个小时后再次爬取")
time.sleep(3600)
else:
with open(name_img,"wb") as fp:
fp.write(img_req)
x = x + 1
print(name,"下载完成,这是第:",x,"个")
print("全部下载完成,一共:",x,"个")
requ()
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
请登录后发表评论
注册
社交帐号登录