1、熟悉mysql等主流数据库,精通sql语言;
2、精通python,有分布式爬虫架构、数据挖掘经验;
3、能对数据进行爬取、数据清洗、数据分析;
4、精通Java语言,web管理后台的后端开发经验;
1、在科大讯飞股份有限公司使用python,对全国学校客户的考试数据进行数据获取、数据清洗、数据分析、汇总为个性化表格;
2、在字节跳动科技有限公司使用java,对POP、B2B电商项目进行开发;
客户需求: 在东方财富网监控一个大V的动态,他发动态后立刻就能获取到并转发到自己的群里面 实现方案: 1、先通过requests库获取当前最新的动态,并赋值给A 2、再进行循环,持续获取最新的动态,将获取的动态定义为B 3、让A和B进行判断,相同则继续循环,不同则将
客户需求: 客户从事短视频行业,需要最热门的视频进行模仿跟拍 实现方法: 1、通过requests库获取接口信息; 2、将json数据进行解析,获取到20个小视频网址; 3、根据网址下载视频;