常用的编程语言: scala
掌握的其他语言: Java、python 、C# 、C、JavaScript等
熟悉的大数据组件:hive、hdfs、 HBase、flume、 Kafka等
常用的数据库: hive、gbase、SQL Server、SQLite、Oracle和MySQL
其他涉猎: Unity 3D,Kinect编程,移动端开发(Windows Phone),数据清洗,仿真
vmax精准规划系统 主要开发者
项目描述:中兴通讯提供的基于现网状况的智能网络规划解决方案,已在国内外多地落地商用
主要职责和业绩:
负责主要的迭代业务开发,使用spark和hive进行前期数据清洗、特定小区聚类和基于特定规则的站点规划,深度参与整个项目各流程。
重构加站核心代码,高度优化算法运行速度,提高站点规划准确性。
为外场提供技术支持,解决系统上线过程中遇到的各种意外情况。
维护日常开发服务器
个人技术亮点:大数据、spark、hive、性能优化
城市轨道交通行车环境安全监测系统 主要开发者
项目描述: 监测站点天气情况,即时反馈风雨数据,保证行车安全。已经通过铁二院技术评定。
主要职责和业绩:
通过TCP/IP协议与硬件端进行数据交互,涉及到Socket编程,通过监听特定端口,得到硬件端传输信息,再经数据清洗之后存入数据库。
另外还实现了Excel数据下载功能和重构了部分UI界面。
个人技术亮点:Socket编程
Scout网站数据爬虫 独立开发
项目描述:因总部数据库端口开放不完全,部分数据需要在特定网站中爬取。已在公司上线使用。
主要职责和业绩:
使用多线程并发技术+分布式部署有效提高爬虫速度。
利用WebBrowse模拟浏览器获取动态页面内容。
通过Cookie缓存调用减少对目标网站的登陆行为。
存储数据库使用增量加载降低数据库负载。
完善的日志系统,windows server程序,异常退出时记录日志,并自动发送邮件报告异常。
本身还涉及到的技术点:正态表达式对内容筛选过滤,行列转置算法及其他优化行为。
个人技术亮点:动态页面爬取 多线程并发 分布式部署 增量加载 独立开发