程序语言:Python, Ruby
数据库:Postgresql, Redis, ClickHouse
主要的云服务: AWS
开发框架: Django, Rails, Flask
大数据: Spark大数据处理。
1. 国内某对冲基金数据中台系统
抓取各个数据源数据,利用spark大数据处理各类数据,清洗数据,入库到不同数据库,生成报表
2. 国外某大型数据公司后台系统
搭建微服务数据处理系统,实现查询语言。
设计与实现整套系统。各类数据抓取系统。各类大数据分析系统。前端的报表生成。数据自动告警。数据质量监控。
世界最大的app数据分析提供商。设计与实现其中的各类微服务。设计与实现数据查询语言。实现搜索系统。实现登录sso登录系统。