java web后端开发
常见数据库的使用mysql,postgres,sqlserver,oracle,hana,redis,clickhouse等
熟悉大数据中间件:hdfs,Hbase,kafka, zookeeper, flink, spark等
熟悉java技术栈,包含spring,mybatis,guava,spring boot等常用java开发框架
熟悉docker,kubernetes等容器技术
熟悉chatgpt,搭建过个人的chatgpt网站(走的是openai的接口)
HBase日常运维和优化
负责PB级Hbase集群运维(26节点, 4W+Region, 1.5PB)。处理Region Hole/Overlap等异常Region问题。
实时指标计算
基于kafka中实时的上报数据,使用Flink SQL的滚动窗口和滑动窗口,计算相关指标。计算机结果保存至ClickHouse中,以1min为单位进行存储。同时使用ClickHouse的物化视图,聚合得到小时,以及天粒度的指标
搭建的个人chatgpt网站,调用的是openai的接口。使用的是chatgpt3.5版本。网页风格与chatgpt官方聊天窗口一致
使用flinksql,计算一些指标数据,将数据写入clickhouse中。并切提供web接口,将其展示在前端。 最终用户通过访问网页,实时查看监控指标