熟悉python,能够使用python编写程序,能够使用python进行爬虫,目前已经完成过两次外网数据的爬取,完成过国内数据爬取总计约十万条+。目前每日的工作就是对某些网站进行爬虫和监控,同时完成部分数据分析工作。
爬取外网证书网站共计数据5w条,能够完成多页面循环爬取等工作。
爬取国内招聘网站的薪资,地区等一系列的数据共计两万条,并使用powelBI和FineBI进行过数据可视化操作
基于yolo的路标检测是使用yolo模型进行图像检测,目前已经可以识别60中交通标识,识别map达到86.5,单核识别速度较快
使用python爬虫对某招聘网站进行爬虫,固定每次爬取50页后切换,最后使用XPATH对爬取到的数据进行解析保存到excel中