精通python语法,
精通requests,scrapy在项目中的应用,
在orm的基础上根据需求定制orm框架,
能快速的解决基本的反爬机制,
熟练使用selenium解决滑块验证码,
熟练使用多进程,多线程等技术,
能有效解决高并发等问题。
全球各大篮球联赛的数据爬取,从球队,球员,场地,赛程等多个纬度的爬取,然后使用定制的orm映射到数据库。再使用supervisor管理相关爬虫进程。添加爬虫的报警,及时的修复等。。。
国外各大图片网站,pixabay,flicker等网站的图片爬取,上传到oss以及七牛云等云存储中。使用阿里云打标技术对每张图片的打标,以及打标后对应的数据入库等工作。
利用requests请求数据,把获取到的数据格式化通过orm存到数据库(除文字直播以外的数据),文字直播的数据,球队技术统计,球员技术统计等数据通过消息队列,已json的格式传到前端页面上。
对国外各大无版权的图片的爬取,通过像素的筛选符合自己的图片爬取。通过阿里云打标技术,把获取到的标签同时存入数据库中。供用户搜索。
对国外各大无版权的图片的爬取,通过像素的筛选符合自己的图片爬取。通过阿里云打标技术,把获取到的标签同时存入数据库中。供用户搜索。