猿急送>

西安Python兼职程序员

ID：342521

李宇航

高级python后端开发工程师

公司信息：
中国科学院信息工程研究所

工作经验：
8年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
西安
全区

技术能力

1. 熟练掌握后端语言python、java。
2. 熟练掌握后端项目开发及安装部署流程，系统部署相关技术栈包括不限于Linux系统、多线程、docker、docker-compose、k8s、nginx、jenkines、git等。
3. 熟悉华为大数据产品及组件，包括MRS、DataArts Studio、DWS、GES、TICS、ModelArts、智能中枢等。
4. 熟悉华为产品迁移工具CDM（数据迁移上云工具）、Rainbow（os 迁移工具）、metadata-migration-tool（元数据迁移工具）、hdfs-compare（数据比对工具）。
5. 数据大数据组件相关开发，包括Hadoop (hdfs，yarn，hive，hbase)、Apache Flink、elasticsearch、impala、Ceph、kettle等。
6. 熟悉大数据调度工具airflow、powerjob、azkaban、Linkis。
7. 熟悉 python web 框架，Django、Flask，FastApi。
8. 熟悉 shell/python 脚本的编写，结合计划任务实现自动化日常管理，并熟悉运用 awk、sed 等脚本辅助工具。
9. 熟悉大数据常用消息队列kafka、pulsar，熟悉业务消息队列rabbitmq。
10. 熟悉kv库存储redis（集群、哨兵）、mongodb。
11. 熟悉结构化数据库mysql、oracle，国产数据库达梦，人大金仓，神通数据库；
12. 精通 ELK 实时日志分析平台，对 elk 日志提取，filbeat/ruby 有相关项目经验。
13. 熟悉es+grafana、zabbix+grafana、json_parse 与 grafana 大屏展示经验。
14. 熟悉项目推进全流程，从 0 到 1 推进过项目（大数据方向）。
15 . 数据python 爬虫技术

项目经验

1、大数据存储平台管理
存储海量数据，从前端接入，通过加载rocketmq分离数据，入库hadoop hdfs平台，impala检索提供查询及一些统计功能；管理维护工作：维护存储平台的分布式存储策略，部署，根据线上环境作出相应改动，编写自动化脚本部分，完成快速批量操作，维护部分非结构化数据，编写接口，使数据生命周期维持统一，处理线上发生故障等；
2、对日志提取，elk 方面的深入研究，做过完整的三套 elk 日志分析系统，熟练编写 grok，对基本的 ruby 也可以掌握编写，做过 python 对非结构化数据的离线提取编写成格式化的 json 数据，使用过多行提取，通过mongodb 库进行和 grafana 的 json 接口对应展示；
3、华为HCS大数据交付管理
MRS的规划设计与实施，MRS数据迁移，MRS Flink开发支持、DWS 数仓规划设计与实施，DataArts Studio开发支持服务最佳实践，DTRB评审等;
4、私有云产品自动化部署
对公司产品进行自动化部署，并更新迭代，基于 flask 编写的 web 产品，用于技术支持在客户现场的部署安装，前后端分离，负责后端功能编写，基本功能有组件的安装，数据库操作，硬盘校验，环境校验、底层产品接口对接、openstack 接口对接、网络创建、lxc 容器创建、kvm 上传更新、docker 上传更新（基于 nomad），日志流入流出，二次部署校验，openvswitch 创建网络使容器于物理机互通，进度条功能等;
5、国产化编译以及交叉编译
根据公司战略需求，适配 arm 架构 lxd 的编译以及交叉编译，一些 cgo 库的编译，比如 zeromq、libpacap、 sqlite、minio、mosquitto 等，go 语言的交叉编译、基于海思平台的交叉编译工具编译;