听风与你

熟练使用软件测试工具进行测试工作，使用python框架爬取百度首页的数据，爬取房天下网站楼盘的信息，
import requests
'''
1.爬取豆瓣电影的数据(https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90)
<1>数据要求（电影上映日期，电影名称，主演，评分）
<2>将所有的数据保存到csv文件里面去, csv文件开头得有标题头
'''
def douban():
# 向网址发送请求
url = "https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=None&start=0&limit=20"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:107.0) Gecko/20100101 Firefox/107.0',
#'Referer':' https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90'
}
#r = requests.get(url, headers=headers).text
# 获取源代码
r = requests.get(url, headers=headers).json()
# 拿到数据保存
with open('豆瓣电影数据.csv', 'w', encoding='utf-8') as f:
f.write('电影上映日期,电影名称,评分,主演\n')
for i in r:
# 上映时间
release_date = i['release_date']
# 电影名称
title = i['title']
# 演员
actors = i['actors']
# 变量来接收列表里的数据
actors = '---'.join(actors)
# 评分
rating = i['rating'][0]

print(title, release_date, rating, actors)

# 保存数据
f.write(f'{release_date},{title},{rating},{actors}\n')
# break
print('保存成功')

if __name__ == '__main__':
douban()