admin管理员组文章数量:1559090
import json
import requests
"""
https://m.douban/rexxar/api/v2/subject_collection/tv_american/items?os=ios&for_mobile=1&callback=jsonp1&start=0&count=18&loc_id=108288&_=0
以上是原始的url地址,因为其中有callback=jsonp1这个参数,所以在返回数据的时候并不是json格式,因此如果想要返回格式为json格式,将此参数删除即可,如下
"""
url = "https://m.douban/rexxar/api/v2/subject_collection/tv_american/items?os=ios&for_mobile=1&start=0&count=18&loc_id=108288&_=0"
headers = {
"user-agent": "mozilla/5.0 (iphone; cpu iphone os 11_0 like mac os x) applewebkit/604.1.38 (khtml, like gecko) version/11.0 mobile/15a372 safari/604.1",
"referer": "https://m.douban/tv/american"
}
response = requests.get(url, headers=headers)
# print(response.text) 这样输出的话中文是被编码过的
# print(json.loads(response.text)) 转换成字典类型输出就不会是编码过的了
# 1.因为写进文档中内容可以是字符串,不可以是python类型数据,因为可以直接写入json字符串,但是这种方式写入的话,中文是被编码过的
with open("json_douban.txt", "w", encoding="utf-8") as f:
f.write(json.loads(response.text))
# 2.因此解决上面问题的办法是将获取的json字符串先转换成字典,再将字典转换成字符串的过程中解决了,如下
# with open("json_douban_dumps.txt", "w", encoding="utf-8") as f:
# f.write(json.dumps(json.loads(response.text), ensure_ascii=false, indent=2))
# 在此说明一下
# json.dumps(json.loads(response.text), ensure_ascii=false, indent=2)
# 参数1: ensure_ascii=false --> 告知python不要将中文编码,显示原始字符
# 参数2: indent=2 --> 告知python在存入的过程中要按照指定格式缩进
本文标签:
j9九游会老哥俱乐部交流区的版权声明:本文标题:爬虫之requests,json的使用------ json模块的新认知 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/xitong/1727372677a1111368.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论