python爬虫,数据分析,数据可视化,自动化测试,熟练使用requests,bs4,paandas,matplotlib,selenium库熟悉软件验证的一般理论和方法,较丰富的功能测试与性能测试经验, 熟练使用C、Python程序语言。
善于学习,愿意不断尝试新事物,敢于挑战自我,接受新事物能力强。。
熟练掌握数据分析和数据可视化,可以根据要求的不同达到的数据可视化的效果不同
曾经写过一个全面的学生管理系统,实现前端和后端的交互,数据存储在数据库中,中小型爬虫能够游刃有余,熟练运用pandas库做数据分析,实现数据可视化
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏,爬取列表页每一项下的子页获取数据 我的职责 首先爬取首页后通过xpath匹配每个的信息块的span后构建请求,并通过scrapy.Request发送请求,用xpath匹配需要的信息。 同时循环创建
1,采用asyncio+aiohttp以达成高并发,异步请求。 2,通过timeout设置超时重发机制,因为HGMD为国外网站,防止因为网络卡顿导致页面抓取不到产生数据不全的现象。 3,通过继承aiohttp.ClientSession类来保存cookie对象,以应对基于co