有两年爬虫抓取采集相关工作经验
熟悉主流爬取技术及爬虫框架,如Selenium/Scrapy/PhantomJS/Puppeteer等
熟练掌握python,c语言,具备扎实的编码能力
突出的解决问题能力,能快速定位问题
熟悉常见的反爬封禁策略,并具备相关的实战经验
对数据分析,数据挖掘有较深理解
爬取新浪微博关于垃圾分类的信息热度分布,可以明显感知到新媒体的热度是巨浪式,热度分布的非常集中,同时消散也很突然
爬取中国区新冠病毒的新增确诊和历史总人数变化趋势,成功从大数据的角度,发现疫情结束的拐点,以及不定期的复发特点
爬取全球的人口分布趋势及人口密度分布特点,基本符合二八定律,区域特性很强
爬取过各类知识,情感,生活分享类信息,如豆瓣的电影排名评论,天气变化预测,天天基金网基金变化趋势,前程无忧的行业工资分布趋势,微博视频
本项目客户的想法是,可以根据他的需求,自动买卖天天基金网的基金,并对他钟意的基金,进行趋势分析,主要包括:天天基金网的可买基金数据下载历史趋势分析,当前趋势预估,以及模拟登录绕开反爬自动买卖某只基金
本项目客户需要了解,垃圾分类这一话题在新浪微博的热度分析,主要是2019年六月到2020年1月的话题热度,总的数据量为100W+;需要分析那几天的热度最高,以及最高热度的时候关键词
本项目客户需要了解,垃圾分类这一话题在新浪微博的热度分析,主要是2019年六月到2020年1月的话题热度,总的数据量为100W+;需要分析那几天的热度最高,以及最高热度的时候关键词