ID：143376
鹏飞
数据工程师
- 公司信息：
- 厦门多维树信息科技有限公司
- 工作经验：
- 3年
- 兼职日薪：
- 600元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 厦门
- 全区
技术能力
scrapy 爬虫数据抓取
redis 利用redis实现分布式，存储url和去重指纹等
kafka 负责数据传输，数据中间件
hadoop 负责数据存储， hbase存储文件
spark 负责数据etl(离线处理）
flink 负责数据etl(实时处理)
elasticsearch 日志存储，监控
docker 爬虫部署
项目经验
负责公司爬虫项目，利用scrapy 抓取amazon、twitter、facebook。redis实现分布式，docker负责部署，elk负责日志记录，kafka作为中间件，hbase存储数据。
相似人才推荐
-
1000元/天高级软件开发工程师京东概要：精通后端java各种框架及各种相关技术（DB，搜索引擎，消息，缓存等各种中间件，），熟练掌握前端cs -
500元/天研发工程师百度概要：熟练使用java语言进行后台程序开发，熟练使用mysql、oracle数据库，擅长SpringMVC
-
500元/天11概要：APP 服务端开发APP 服务端开发APP 服务端开发APP 服务端开发APP 服务端开发APP 服 -
500元/天高级全栈工程师乐一软件概要：掌握html+div+css+css3+h5+javascript+ajax+jquery包括前端j
-
1000元/天高级后端开发工程师百度概要：之前担任百度INF底层开发 后端开发框架语言 c++ java golang python均可。参与
-
1000元/天系统架构师北京盛安德科技发展有限公司概要：学习.Net出身，现在掌握.Net(包含.Net core)，php，nodejs，react等目前 -
700元/天项目经理澜科软件有限公司概要：在线教育产品功能研发（系统功能开发基于 .net framework，svn多人协同工作，QQ、微信
-
600元/天项目经理东日科技概要：熟练使用Java、Python语言。 包括但不限于Spring、Spring MVC、Mybati
