熟练运用Spring,Spring MVC,Hibernate等主流开源框架;
精通掌握JAVA语言编程,具有良好的编程能力。
熟悉Oracle、MySQL数据库,有一定的SQL查询性能优化的能力
熟悉缓存技术和分布式系统理论,有Redis, Memcache等实际使用经验;
熟悉Linux环境及操作,熟悉Tomcat,Apache,Nginx等开源的服务器;
熟练运用spark进行数据的统计计算
熟练运用sparkstreaming、sparkSQL进行实时流式计算
熟练运用Scala进行spark程序的编写和HBASE数据库的存储和查询
熟练运用ETL开发工具kettle软件进行数据的迁移和转换
熟练运用SVN、GIT版本控制
项目名称:移动广告管理系统
项目描述:通过深入对接移动端全景流量,帮助广告主提高产品和活动的曝光知名度,进行长期的技术优化与数据研究,为开发方提供稳定的嵌入收益。平台系统整体分为两大模块,1.常规的web广告网站,包括了广告主投递产品广告、开发者进行应用的注册和广告位申请、整体网站的控制系统。2.广告Api请求系统以及广告平台广告池的管理和控制,根据不同的业务需求完成不同的广告过滤和包括广点通、百度等广告联盟在内的广告接入和加工。
责任描述:根据不同的功能需求修改Java后台逻辑代码,其中所使用到技术有SpringMVC、Guice和自身封装的Dao层框架,根据业务要求进行程序解决方案的设计和小组工作的安排,完成其他广告平台的广告接入和上报任务的实现,将不同的平台Api进行整合,编写和维护自身广告平台的接入API文档,整体控制系统平台代码的上线和更新,设计用户信息的收集和上报实现,解决高并发的信息采集实现,将原先的用户信息存储在MySQL数据库中转移到用HDFS进行分布式存储等
————————————————————————————————————————————————————
项目名称:移动广告数据统计
项目描述:进行高并发用户的设备信息的收集和存储、收集用户的广告请求、展示等后续操作的上报,分别按天和小时进行统计和汇总提供相应的图表给广告主和开发者进行展示,根据每天的广告流量情况进行广告主的扣款和开发者的变现情况进行计算,实现实时的广告池广告权值调控和广告精准投放的运行
责任描述: 1.广告信息的采集:将原先系统的Kafka版本进行升级由原先的0.7版本升级为0.10版本,相应的修改了Java的接入api方式,修改了开发者的存入接入方式采用的新的api创建ProducerRecord<K, V>进行异步的数据日志上传,修改kafka2HDFS的Java代码实现,根据新版kafka将topic在zk中存储的格式和方式进行代码的修改,最终仍然让日志信息根据不同的业务类型进行时间的分割存储到HDFS文件系统中,并且实现新的用户设备信息、IP、手机应用列表信息的存储方式,提供每天进行信息的筛选和清洗操作。
2.广告信息的统计汇总:由原先利用cascading来进行MapReduce代码实现更改为利用Spark框架,更换的原因为spark开发更简单,操作RDD比较方便和易容易理解,大大的缩短开发周期,在系统中配置cronjob读取在HDFS中每天或每小时的日志信息生成RDD根据不同的业务要求进行数据的统计和筛选清洗最终再讲数据存储到HDFS中由Java程序将数据拉取到本地根据解析xml文件将不同的业务统计数据存储到MySQL数据库中,最终使用echat展示出每个广告(广告位)当天(小时)的操作上报情况,以及存储上当天新的pv设备信息。
3.广告实时点击监控:采用Kafka+SparkStreaming进行实时流式计算,从kafka中将广告点击上报日志信息直接传入到createDirectStream中,每15秒的点击数据通过sparkSql查询出点击总量最多的5个广告ID,并将结果存入到HBASE数据库中,最终用Java程序进行查询和展示,为广告精准投放和提高广告点击率作参考。
——————————————————————————————————————————————————————
项目名称:智能储备项目评价系统
项目描述:智能储备评价系统通过建立储备项目信息库,所有的子网公司用户
可以通过每个项目的指标项值的不同对各个项目进行打分,用直观上的分值反应项
目的投资优先级
责任描述: 1.采用SpringMVC+Spring+Hibernate的框架结构开发;
2.使用纯JS的前台页面编写
3.使用Ajax与后台数据进行交互;
4.使用jQuery实现页面交互效果
5.使用Redis和Memache的缓存机制开发
6.编写后台逻辑代码完成业务的功能实现
7.使用Oracle进行数据查询和sql语句的优化
8.后台使用多线程进行项目评价状态的修改功能实现
角色 | 职位 |
负责人 | 高级Java工程师 |
队员 | 后端工程师 |