1、主要涉及金融、工业、电力、机械行业,开发数据分析、推荐、分布式计算等系统,前面工作主要从事Javaweb,后面逐渐转为大数据方向:hadoop分布式开发、spark分布式计算、数据挖掘、建模等开发; 结合应用层开发、消息队列等中间件、redis缓存。
2、运用TensorFlow、spark、hadoop、hbase等作为开发工具,能够熟练掌握语言Java、scala、Python;sas、C++能够基本运用,熟悉hadoop生态系统。
3、较多地运用了主要的机器学习算法:包括线性回归、随机森林、最大化似然、决策分类、神经网络等,掌握其中的原理,知道每个算法的适用场景。
4、深度学习框架主要包括RNN、CNN,应用的功能为语音识别、机器翻译、图像处理等,主要涉及为智能电网负载调度平台、智能语音识别系统、阿尔法保险、大数据核保平台等系统。
1、电能调度实时海量数据处理平台:
系统管理:用户权限、电厂数据(库、字典、导入方式、参数设置等);
基础资料管理:风电场、光伏电厂的基础资料及时序数据。
数据统计与应用:根据筛选条件显示电场,包括风电场/光伏电站、调度侧/场站侧、所属网省、地区、业主、并网时间、数据长度、数据时间 ;查询。
用HBase作为数据仓库,并自定义二级索引,提高检索速率至毫秒;
数据可视化:将部分数据写入到ElasticSearch,并用kibana以图表形式展示 ;
对预测需求 对收集到的时间序列数据做预测,并使其满足90%的置信区间。
2、利得金融利得宝(+微信支付+服务号)分布式系统开发:
重点在消息中间件与redis的配置、开发;搭建kafka集群,根据业务增量进行分区扩展,实现发布订阅、异步请求存储、实时并发写入等功能;同时完成系统中主要接口功能的开发:支付、查询、调用等;跟进测试系统性能做评估,对高可用性进行了探讨,主要包括单点问题的解决和Redis节点的自动主备切换。
3、对接银行清算及交易系统实时对账分析平台:
根据利得销售端如(利得宝APP、O2O网关、私募坊账户中心)交易接入,作为负载均衡数据中台总控转发给银行交易系统完成资金池管理、划账、对账等功能。并接收实时交易行为数据以消息队列方式接入storm集群消费完成数据分析与实时计算,具体包括利息、市价、募集资金、涨跌幅等。
4、语音识别智能问答系统:
主要完成自然语言处理标注、分词模块。搭建spark分布式计算平台,通过sparktream实时流计算导入聊天语料存储,运用条件随机场算法训练样本,完成模型学习。