熟悉基于hadoop技术栈的大数据仓库设计,hive,pyspark等etl数据处理过程。 熟悉spark数据处理过程,scikit learn、spark ml等机器学习建模。 熟悉随机森林、逻辑回归等经典机器学习算法。
熟悉aws EMR等云服务开发。
熟悉openstack ,cloudstack云平台,熟悉swift对象存储机制。 熟悉python编程语言,mysql,mongodb数据库操作,熟练使用rabbitmq,redis等消息队列机制, 熟练使用Django,Tornado框架进行web软件开发,熟练使用wxpython进行python桌面软件开发。 熟悉linux系统命令操作,了解lvm,iscsi等开源存储工具,了解kvm,libvirt等虚拟化相关技术。 熟悉html,JavaScript,css等web 前端开发技术,熟练使用dojo、bootstrap、angularjs等开发库进 行前端开发。
了解java编程语言,可以使用java进行软件编程。
了解ipmi,wsman,snmp等远程主机管理工具。
众多系统建设经验,如企业内部管理平台,兼做数据处理,各种机器学习数据模型
数据中台建设
用户画像平台
信息推送系统
舆情分析系统
流失用户模型