1、Python,用于爬虫程序、数据分析、自动化工具开发
已开发的爬虫项目有:
(1) 企查查。
a、使用redis搭建COOKIE池,借助selenium保存到云端linux服务器;
b、解析并将爬虫结果存储到mongoDB
c、代码部署在阿里云服务器,每周自动运行
(2)招聘网站:51job、智联招聘
(3)豆瓣
(4)房天下
(5)瓜子二手车、人人车
2、熟练Linux操作系统
(1)阿里云服务上,搭建个人博客网站、电影网站(个人用,非商业)
(2)各类爬虫代码,均部署在服务器上
3、熟练数据分析工具,负责公司数据平台的搭建及维护
(1)Excel VBA
(2)SQL Server数据库,与Excel连接应用
(3)Tableau Server搭建及开发
1、Python,用于爬虫程序、数据分析、自动化工具开发
已开发的爬虫项目有:
(1) 企查查。
a、使用redis搭建COOKIE池,借助selenium保存到云端linux服务器;
b、解析并将爬虫结果存储到mongoDB
c、代码部署在阿里云服务器,每周自动运行
(2)招聘网站:51job、智联招聘
(3)豆瓣
(4)房天下
(5)瓜子二手车、人人车
2、熟练Linux操作系统
(1)阿里云服务上,搭建个人博客网站、电影网站(个人用,非商业)
(2)各类爬虫代码,均部署在服务器上
3、熟练数据分析工具,负责公司数据平台的搭建及维护
(1)Excel VBA
(2)SQL Server数据库,与Excel连接应用
(3)Tableau Server搭建及开发