猿急送>

上海其它兼职程序员

ID：189726

天可汗

大数锯开发（爬虫）

公司信息：
京东

工作经验：
2年

兼职日薪：
2000元/8小时

兼职时间：
下班后
周六
周日

所在区域：
上海
闵行

技术能力

• 擅长flink,storm,Hadoop等hdfs、yarn、map reduce、hive、h base、s q o o p、zookeeper、spark大数据生态相关技术；
• 擅长维护几千台机器的集群的稳定，擅长集市管理，擅长搭建集群；
• 擅长运用golang通过websocket，ht t p 实现 web功能（编写API接口），善于运用beego、iris、gin等框架；
• 擅长运用Scala和java进行数据分析, 擅长springmvc ,playframe2实现web功能；
• 擅长各种爬虫（善于运用scrapy框架）以及搭建IP代理池；
• 擅长使用Jenkins完成部署前端和后端的工作，善于运用zabbix实现监控；
• 擅长编写以rundeck和oozie为调度系统的大数据平台；
• 擅长运用Python通过http实现web功能（编写API接口），善于运用Django和flask等框架；
• 擅长使用mysql、p o st g re sq l和 s q l it e 等各种数据库，善于使用 k a f k a，re dis；
• 擅长写专利；
• 擅长DevOps，CI/CD；擅长使用ansible实现阿里云机器的初始化；
• 擅长Linux系统操作，实现shell脚本的编写；
• 擅长使用Hive SQL完成数据的ETL和分析处理；
• 熟悉ElasticSearch，K i b a n n a, e t c d 等日志收集展示工具。

项目经验

项目时间：2019.6中旬~至今
项目名称：项目四：基于flink和spark的域名推荐（购物车）和数据分析系统
软件架构：f l i n k,h ado op,g o la n g，be ego，spark，s c al a,python
责任描述：基于Hadoop和spark以及flink大数据集群，主要运用golang通过beego框架和python的爬虫（查询谷歌翻译印尼语、越南语和菲律宾语以及英语）实现对印尼、越南和菲律宾等客户产品（APP命名相当重要，能直接吸引大量客户的前提）和域名推荐（类似购物车系统，根据客户所选域名进行模糊查询，然后在阿里云或者godaddy上通过爬虫随机生成域名并买下来）。通过分析Hadoop和spark的数据离线或者实时分析放贷量最高的客户的前几名和哪个区段的贷款人数来对客户进行建议。

项目时间：2019.3中旬~2019.6中旬
项目名称：项目三：开发自动初始化机器和自动部署的平台（系统）
软件架构：Hadoop，go la n g，be ego，a n s i b l e，python， p o st g re s q l，El a s ti c S e a r c h，Ki ban n a,e t c d
责任描述：基于大数据集群，主要运用golang通过beego框架和python的ansible实现网关机器的初始化（包括风控规则服务，隐私数据收集中心，定时任务，管理系统服务以及三方对调服务还有apk的rest接口服务）完成一系列阿里云机器所需的安装与上线工作，通过flyway控制数据库版本（java）以及jwt(权限验证)；其次还集成了另外一个系统（平台）--自动部署平台，主要通过jenkins（也可以不依赖jenkins）完成高并发部署后端（一般是java的代码）和前端（h5，官网，K SP和还款页面）的代码。可以高效地实现DevOps。所有的数据都存储在postgresql中。日志收集通过ElasticSearch和Kibanna进行展示。
项目时间：2019.2.1~2019.3中旬
项目名称：项目二：开发金融现金贷平台（系统）
软件架构：Hadoop，go la n g，be ego，j wt，python，run deck，k a f k a，re dis，p o s t g re s q l
责任描述：主要运用golang通过beego框架实现运营管理，放款催收，财务报表，审核流程（初审、复审和终审）

项目时间：2019.1.2~2019.1.31
项目名称：项目一：开发金融平台的聊天室
软件架构：Hadoop，go la n g，web socket，be ego，j wt(j s on web token)，iris（gin）
项目描述：为了规避现金贷的一些风险，避免客户信息的泄露（避免客户方离职人员掌握客户信息以及权限等问题），开发一个局域网内的聊天室，保证信息交流的私密性。
责任描述：主要运用golang通过beego框架和websocket协议，以及jwt(权限验证)，实现了多channle高并发的一个私密的聊天室。其次通过iris（gin）框架实现UI设计师的权限管理。

京东（大数据开发和集市管理岗位2017.11~2019初）
项目时间：2018.9~2018.12底（京东）
项目名称：项目三：开发任务调度平台（系统）
软件架构：python，o oz i e 调度框架，Django,had o op,h d f s,yarn,hive, s q o op,zookeeper
项目描述：通过web页面提交脚本任务或者类似任务，需要在集群上使任务分布式执行，自动生成oozie所需要的workflow.x ml、coordinator. x m l和job.properties等配置文件，方便研发人员在web进行正常的增删改查，进行有必要的失败重试和任务告警。
责任描述：主要用python调用oozie的服务，完成定时和依赖任务在基于yarn的hadoop大数据平台上的提交、管理和监控。使用postman模拟前端的请求，用django完成后端数据的解析服务，用PostgreSql存储oozie的任务和状态信息，在python中调用oozie的服务，完成任务的提交、查询、过滤、状态监控等各种例行的任务管控需求。在python的server开发中，使用了多线程请求oozie、进程池提交任务、优先队列和数据库连接池等技术，提高了单个server的并发连接数和处理性能，还基于ngnix设计了负载均衡让前端连接到不同的oozie客户端，让前端多用户并发的时候有更好的体验。此外也可以把airflow接进来可以实现多

案例展示

爬虫平台，大数据平台

There is a problem with this website, many things are not displayed properly, please trust me
爬虫平台，大数据平台

There is a problem with this website, many things are not displayed properly, please trust me