Python,熟悉requests,beautifulsoup,urllib等爬虫方式,熟练使用scrapy框架进行大数据爬取,理解http,计算机网络,熟悉html,js,dom,xpath。能够使用自动化框架selenimu进行自动化测试。掌握各种反爬虫技术,如IP,cookie,proxy等。能够对网页进行动态分析,爬取动态网页。对图片处理有一定的了解,能够识别各种验证方式。熟悉mysql数据库,Mongodb,redis。了解机器学习,深度学习
基于深度学习的Web API服务质量预测
开发的Web API服务质量预测平台,使用scrapy框架爬取了ProgrammableWeb网站的Web API的信息,包括API的站点,开发者以及开发文档等相关内容,之后可以使用scrapy框架可以手动采集ProgrammableWeb网站更多的Web API信息,以及Web API的搜索和查询,使用requests通过正确的输入密钥以及文件格式进行Web API的访问,来获取Web API提供的数据,能够方便的进行Web API的信息收集,方便Web的服务质量研究和Web API使用。然后,通过研究Web API的服务质量预测算法,如ARIMA、LSTM,给予实验结果。前端界面展示使用Django框架实现。数据库使用mysql储存数据。
开发的Web API服务质量预测平台,使用scrapy框架爬取了ProgrammableWeb网站的Web API的信息,包括API的站点,开发者以及开发文档等相关内容,之后可以使用scrapy框架可以手动采集ProgrammableWeb网站更多的Web API信息,以及Web
开发的Web API服务质量预测平台,使用scrapy框架爬取了ProgrammableWeb网站的Web API的信息,包括API的站点,开发者以及开发文档等相关内容,之后可以使用scrapy框架可以手动采集ProgrammableWeb网站更多的Web API信息,以及Web