主语言python,熟悉js,了解java,c
python的相关库包能熟练使用
熟悉爬虫,了解反爬措施,有一定的反爬经验
熟悉使用scrapy框架,和线程,进程,异步
会使用django编写后端api,也会使用fastapi写api
熟悉使用mysql,mongodb数据库,redis也会使用
学习,适应能力强,即使碰到疑问也能即使解决
百度乐谱小程序,所有数据的采集和清洗
爬取各大网站的谱子乐曲,虫虫,环球钢琴网等
再用opencv的开运算等处理谱子
最后编写intent,上传白度
爬虫爬取淘宝商品,京东商品
猎聘网,等一系列小网站
角色 | 职位 |
负责人 | 后端,爬虫技术人员 |
队员 | 后端工程师 |
产品是百度小程序,用于乐谱的快速查询,月活已过百万。我在项目中担任数据采集人员。使用爬虫采集乐谱,再做处理上传云端
使用requests爬取音乐网站的全站音乐,以供自己写代码学习中使用,并使用线程优化代码,加快爬取速度。
使用requests爬取音乐网站的全站音乐,以供自己写代码学习中使用,并使用线程优化代码,加快爬取速度。