本人掌握python语言,有俩年的爬虫经验,熟练爬虫技术(bs4,xpath,re,pyquery),selenium自动化,Scrapy框架等等爬虫技术.其次本人还有丰富的python web开发经验,flask框架,曾独立开发二手房信息可视化系统,超市管理系统,价格预测系统等等
基于hadoop二手房可视化系统,超市管理系统,各电商平台爬虫,豆瓣各栏目信息爬虫,娱乐信息爬虫,新浪微博信息爬虫,国外科研网站爬虫,新闻信息爬虫,房价信息爬虫等等
角色 | 职位 |
负责人 | 爬虫开发 |
队员 | 后端工程师 |
根据客户需求爬取虎扑网站nba的相关帖子信息,并利用scrapy 爬取10+论坛24小时榜数据,包括浏览数、回复、详情等数据 ,并爬取相关文章的前30评论、评论的IP、评论时间、亮贴
根据用户需求爬虫boss直聘中的招聘数据,获取广西地区的招聘信息,包括工作名称,薪资,地点,工作经验,学历要求,公司名称,公司类型等等