1)服务端主要工作语言Java,熟练的使用Java语言进行面向对象程序设计,熟悉常用的Java API,包括集合框架、I/O、Socket、JDBC、反射等,了解基础JVM知识。熟练使用常用设计模式,生产消费模型等软件工程方法。可独立完成项目设计以及模块开发。
2)了解Python,Scala,熟悉linux操作系统,常用shell脚本编写,可ubuntu环境开发。掌握,Javascript,jquery,Angularjs1.6,Angularjs5,typeJs,echarts的等前端技术。
3)熟练使用Postgresql,Mysql,Greenplum等关系型数据库,熟练使用sql语句,了解常用数据库优化,了解存储过程,熟悉常用数据库函数使用。
4)熟悉Redis,MongoDB等nosql数据库的使用。
5)熟悉Hadoop平台相关技术hdfs,mapreduce等,完整参与过大数据项目,主要负责数据接收和数据存储可视化部分。;
6)熟悉Tomcat、Glassfish、Nginx等服务器,日常针对服务器进行配置。使用netty通信框架搭建做http服务器的搭建和使用经验。
7)了解restful架构,rpc服务器,有webservice开发经验,熟练常用基于servlet的MVC分层架构以及技术,了解使用常用的web技术(Jersey,JPA,springMVC,Struts 2,Mybatis,hirbnate等)。
熟练使用Maven进行项目管理。熟练使用svn,git。在项目中使用Junit进行单元测试。
项目: 用户上网日志留存系统
技术框架: HDFS,Elasticsearch,Postgresql等
项目描述: 公司产品硬件流量采集服务器,部署在运营商数据中心,采集WLAN用户和家庭宽带用户得上网日志。日志进行字段匹配合成,合成后上报运营商。提供根据源IP,宽带账号等日志查询服务。同一个项目多个省份运营商环境部署。
负责模块: 1查询模块,合成后的数据按照时间目录存储到hdfs,根据源ip时间等字段生成结构化索引存储到Elasticsearch,根据索引查询hdfs指定文件,读取并展示到web页面/发送ftp到指定地址。
2 数据源检验,通过mapreduce作业直接查询未合成的数据源,检验数据合成是否有缺失,数据索引是否正确。
3 接收模块,Java-inotify实现对ftp目录的监控,ftp接收数据上传到hdfs,生成接收文件清单写入数据库,对接收数据量统计。
4 告警模块,接收文件过小,接收服务器上报延迟,合成延时,合成率过低等告警的生成,并发送邮件,生成周期告警周报。
5 第三方对接,4A安全管理平台对接,身份认证,操作审计等
6 版本升级 兼容ipv4和ipv6两种话单的合成查询告警等
项目: 数据巡检系统
技术框架: Flume,Postgresql等
项目描述: 监控数据采集,数据裁剪,数据储即由硬件原始日志报文到可用日志流程是否有数据丢失,监控数据探针,服务器状态,及软件进程,Flume日志生成以及收集,自动安装和一键部署监控开发。
负责模块: 1 中间表设计与生成,为了提高查询效率,周期执行多个维度数据函数。
2 python开发告警模块,sql长时间执行,死锁等告警生成上报。
3 数据准确性核查,软件接收到的日志,由于非对称路由等原因导致的,日志无法合成。
4 网元质量核查,利用中间表以ip为最小力度汇聚机房出口链路等维度数据,以及数量峰值均值历史等统计。
5 一键部署脚本,兼容不同环境由一台机器下发的多级部署。
6 对接Cloudera Manager接口扩展一些服务器状态接口,历史趋势等图表接口
项目: 家集客项目
技术框架: Kafka,greenplum等
项目描述: 根据采集到的数据,在用户,ONU(网元),OLT(光线路终端)等维度监控运营商网络情况,绘制峰值和历史曲线,监控网络质量进行反馈。硬件采集DPI数据,通过脚本写入 Greenplum集群数据库,数据维度按照时间维度(小时表,天表)和资源维度进行分表,数据入集群监控,数据可视化展示。
负责模块: 1 公共部分跨多表查询的逻辑编写
2 sql复杂度的转移,通过js对象的填充转化成对应sql语句 。
3 首页,单用户溯源,告警模块,告警阈值配置模块等模块的开发。
角色 | 职位 |
负责人 | java开发工程师 |
队员 | 产品经理 |
队员 | 前端工程师 |
队员 | 后端工程师 |