编程语言:Java, Python, C/C++, Scala, SQL
后端开发相关工具和框架: Spring Boot, Flask, Play, RabbitMQ, MySQL, MongoDB, Docker, Kubernetes, Git
大数据开发相关工具和框架: Flink, Kafka, Hadoop, Hive, Spark
1. 大数据平台开发
• 负责使用 Flask 实现数据管理平台,主要用于公司所有员工的权限审批与管理:1)集成 SAML 登录方式,在简化登录流程的同时增加安全性;2)实现用户权限审批与管理功能;3)提供多种 API 来完成用户校验、检查资源可访问性、告警邮件发送等功能;4)使用 Swagger 为管理平台编写完整且可读的 API 文档,生成的文档可直接用于自动化测试,且便于协同开发和 API 使用。
• 负责使用 Flink,Kafka,Canal 和 Flume 实现多来源数据收集和大数据流式处理功:1)使用 Canal 和 Flume 收集数据库更新、埋点等来源的实时数据,并把实时数据流传入 Kafka;2)使用 Flink 消费 Kafka 中的数据流并进行数据流的实时处理,如过滤、聚合或是需求要求的各种 ETL 方式;3)将处理完的数据存入 MongoDB、MySQL 或 Hive 进行持久化,或者是按照不同的需求传给别的组的 RabbitMQ、Kafka 或调用 API 传输数据流。
• 负责使用 Spring Boot 为其他组提供大数据查询服务:1)使用 HTTP 接口响应 HTTP 请求,返回数据量不大的查询;2)使用 RabbitMQ 响应数据量稍大的查询请求,并实现异步处理;3)数据量特别大时,将数据持久化在云端,返回云端存储地址方便用户下载。
• 参与使用 Spark 组件进行用户风险行为大数据分析,例如使用逻辑斯蒂回归为风险用户打标签和使用 GBDT 对用户行为进行分类。
• 使用 Gitlab 实现 CI,使用 Kubernetes 实现 CD:前面所述的数据管理平台、大数据处理和查询服务
均使用 Gitlab 编译出 image,使用 Kubernetes 进行容器化部署。
2. 卫星嵌入式系统开发
1)姿态解算与控制算法的 Matlab 仿真及其 C 语言实现;2)在卫星嵌入式系统上实现低时间复杂度,高鲁棒性的飞控软件,包含任务调度,多传感器协同,错误处理等;3)使用 Python 脚本实现对卫星的自动化测试和参数调优,加快开发迭代进度;4)使用机器学习方法实现对卫星传感器的校准与处理异常数据;5)负责姿态解算与控制系统 PCB 设计制造,参与卫星主控 PCB 设计。
1)自动化登录及爬取基金信息,聚合不同数据源的基金指标 2)根据基金信息和指标进行筛选 3)收益跟踪及可视化,可根据预设买卖信号发送定时邮件
1)姿态解算与控制算法的 Matlab 仿真及其 C 语言实现; 2)在卫星嵌入式系统上实现低时间复杂度,高鲁棒性的飞控软件,包含任务调度,多传感器协同,错误处理等; 3)使用 Python 脚本实现对卫星的自动化测试和参数调优,加快开发迭代进度; 4)使用机器学习方法实现