熟练使用python语言进行爬虫以及数据的提取,精通软件测试,使用爬虫框架进行爬取,。熟练使用python语言进行爬虫以及数据的提取,精通软件测试,使用爬虫框架进行爬取熟练使用python语言进行爬虫以及数据的提取,精通软件测试,使用爬虫框架进行爬取
熟练使用软件测试工具进行测试工作,使用python框架爬取百度首页的数据,爬取房天下网站楼盘的信息,
import requests
'''
1.爬取豆瓣电影的数据(https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90)
<1>数据要求(电影上映日期,电影名称,主演,评分)
<2>将所有的数据保存到csv文件里面去, csv文件开头得有标题头
'''
def douban():
# 向网址发送请求
url = "https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=None&start=0&limit=20"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:107.0) Gecko/20100101 Firefox/107.0',
#'Referer':' https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90'
}
#r = requests.get(url, headers=headers).text
# 获取源代码
r = requests.get(url, headers=headers).json()
# 拿到数据保存
with open('豆瓣电影数据.csv', 'w', encoding='utf-8') as f:
f.write('电影上映日期,电影名称,评分,主演\n')
for i in r:
# 上映时间
release_date = i['release_date']
# 电影名称
title = i['title']
# 演员
actors = i['actors']
# 变量来接收列表里的数据
actors = '---'.join(actors)
# 评分
rating = i['rating'][0]
print(title, release_date, rating, actors)
# 保存数据
f.write(f'{release_date},{title},{rating},{actors}\n')
# break
print('保存成功')
if __name__ == '__main__':
douban()
import requests ''' 1.爬取豆瓣电影的数据(https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90) &l
题目1: 电影数据存储 url: https://www.hao6v.tv/dy/ 下载该网站2022最新电影的数据, 1-10页的数据, 包含的字段有: 电影名, 电影详情页地址, 发布日期, 下载方法, 下载地址 注意: 电影名, 发布日期, 电影详情页地址在列表页
1 、熟悉软件基本理论流程各种黑盒测试方法; 2 、根据测试计划有效执行测试任务并及时上报风险; 3 、熟练使用测试管理工具Jira ,禅道 ,bugfree; 4 、擅长使用X-mind写测试思维导图 ,根据导图进行案例编写; 5 、熟练SQL语句对数据库增 ,删 ,改