ID：145324
陈克磊
爬虫开发工程师
- 公司信息：
- 华夏信财
- 工作经验：
- 3年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 上海
- 浦东
技术能力
1熟练掌握java 语言，及js语言
2可以使用java 常见框架，spring 等
3熟悉sql的编写
4可以使用常见的代码协作工具，git 等
5了解计算机网络相关知识，如 http https tcp ip dns 等相关协议
6扎实的计算机基础知识
项目经验
1.java爬虫项目，项目主体是用netty redis 加nutz（类似spring 的mvc框架）搭建的分布式项目，使用到的爬虫技术，主要是由hpptclient htmlunit 和wedriver进行自我封装的爬虫框架，业务主要是根据用户提供的账户，即时爬取其账号信息，我们是一个大的风控项目的一小部分，除了提供爬虫执行引擎以外，还有自己的管理后台页面，以及对接上游系统的前端页面，前端主要是用原生js 和angular 去实现。
我在项目中负责具体网站爬虫的编写，以及对接上游系统的前端页面的编写，还涉及过chrome 插件（自动生成需求文档），代码发布校验功能的编写（本系统为热加载系统，发布前对java代码进行解析，识别其是否我们的要求）
2.车险保单系统，基于hadoop平台搭建，主要使用spark sql hbase hive 类似数据仓库，对上游数据进行结构化入库，并按需发给下游系统
我在项目中负责数据下发，和数据治理
相似人才推荐
-
500元/天后台高级开发工程师北京融易通信息技术有限公司概要：熟悉 C 、python 、erlang、 lua ，熟练使用Linux、shell ，熟悉html
-
500元/天业务经理武汉方片科技有限公司概要：本人作过4年项目技术支持和6年项目经理，然后跳槽去一个完全不同的行业去继续做项目经理，经历了从技术到
-
500元/天GPU SOFTWARE ENGINEERNVIDIA概要：> 211计算机科班毕业 > 3年开发经验 > 精通C/C++/Python,
-
500元/天web前端工程师重庆叠榭科技有限公司概要：从事web程序应用开发近两年，做过四个大小型的web客户端产品。熟悉SSM框架开发模式、精通HTML -
500元/天数据开发法本信息技术有限公司概要：1.熟悉hadoop的模块应用；理解hdfs分布式文件存储原理及mapreduce的计算模型； 2
-
500元/天软件工程师高伟达软件技术股份有限公司概要：现在华中电网做过几个项目的linux上的开发，包括一些文件传输通讯程序，大多是c语言的socket接
-
500元/天DBA研发工程师北京快道网络有限公司概要：1.MySQL日常维护,包括SQL优化,死锁和锁等待优化,主从备份和监控;高可用数据架构,MGR高可
-
800元/天技术资源中心副经理上海汉得信息技术股份有限公司概要：精通java web后端开发，sspring mvc,springboot,spring cloud
