掌握技能如下:
1. windows环境搭建python环境。 涉及:(pycharm、scala、hadoop,spark,pyspark,MySQL,jdk...)
2. 熟悉使用python:oop、socket、pyechars,设计模式,链式调用。
3. 熟悉使用并掌握Hadoop生态,CDH,MySQL,Tidb,Java,Shell, Scala,Python,Gremlin。
4. 熟悉CDH集群调优,解决数据倾斜,完成pb级的数据治理...等工作。
5. 熟悉Microsoft Excel VBA,Python,数据可视化分析,有自动化报表开发经验2年。
6. 熟悉使用kettle,Hive、MS-SQL,MySQL,Oracel,SparkSQL。
7. 良好的表达与沟通能力、积极主动,对工作尽职尽责。
本人是程序员客栈的Leo,一名【python数据处理工程师】
个人信息如下:
我毕业于【上海大学】,担任过【北京中经惠众科技有限公司】的【大数据etl工程师】,担任过【上海贝格计算机数据服务有限公司】的【项目经理/数据开发工程师】;
负责过【项目1宏观大数据分析】,【项目2国泰君安证资讯】,【项目3新华社金融数据应用平台】,【项目4安迅思分析平台】,【项目5ERP项目运维】,【项目6德粨、捷爱仕、环球excel自动化报表开发】;
如果我能帮上您的忙,请点击“通过简历”与我联系我!
2020-10-20至2022-11-30 [北京中经...] ETL工程师
1.完成大连市大数据分析平台的上线及运营。
2.完成辽宁省大数据分析平台的平台运行及相关工作。
3.完成黑龙江省大数据分析平台运行及相关工作。
4.相互配合完成重庆市大数据分析平台上线及运营。
5.保质量完成领导部署的他项工作。
2016-10-11至2020-09-30 【上海第一财经旗下大数据公司】 研发项目经理/数据开发
根据项目需要开发人员承担管理工作,所以本人在项目中既是管理角色也是数据开发角色, 具体工作内容如下:
1)完成项目 启动、计划、执行、收尾、结项、运维等工作。
2)完成数据开发工作:开发Kettle包、上线、日常运维。
3)完成项目运维工作:shell脚本、存储过程、SQL语句。
4)完成MS-SQL MySQL Oracle SQL优化。
5)深入理解CM,MR,hdfs,Hive,Hbase,Spark 工作原理。理解分布式 云计算。
6)熟悉使用数仓 Hive 建模、擅长对大文件进行日志分析。
7)熟悉使用HBase建模。用MR进行多数据写入。
该项目面向全球,工作模式是为投资者提供有利的投资渠道。简化复杂多变的行情趋势。通过计算对化工、能源、期货等产品相 关信息,做出总览。通过行情数据展示为投资者带来客观收益的信息展示平台。 https://AnalysisPatform-icis.com,项目服务已签到英国,中国
MES,HARDRA主要生产管理流程如下: 生产调度:建立统一的调度指挥中心,快速应对生产变化,合理调度现场生产资源,减少生产准备时间,实现生产流程规范化和实时控制。 生产计划管理:实现排产信息化,进行生产计划的自动优化,预测物料需求,并将计划反馈给制造平台,建立预警机制。