1、精通Java WEB后端技术栈等框架使用和调优,包括Spring Boot生态、Mybatis Plus ORM框架、Redis缓存、kafka消息队列等
2、熟悉大数据领域数据研发,包括ambari、hdfs、hive、hbase、kafka、ranger、trino等集群环境搭建及数据分析
3、熟悉python脚本研发,可高效完成基本的数据处理,以及构建模型能力
项目一:
实现功能:医院的一个统计系统,之前需要人工填写病人检验报告的信息,报告信息很多,约20-30项,需要把这项工作通过脚本进行自动化
使用架构:主体通过python语言来完成,涉及将pdf转图片、OCR框架识别图片为文字,然后通过自动化测试框架,模拟人点击网页操作,并填写OCR识别的文字信息,完成全流程自动化过程
项目二:自定义RSS源
实现功能:雇主有几个网页博客,需要将这些网站做成RSS源
使用架构:主体通过python语言来完成脚本开发。涉及网页数据爬取,并将爬取数据以RSS协议的格式写成xml文件,放在静态服务器上,RSS客户端访问即可拿到RSS源
详细功能:扫描病理报告,并将报告中的数据,自动填入到医院系统中 角色:本人作为唯一开发人员,从需求梳理,到功能代码编写、测试,以及最后交付,完成整个全链路流程 实现情况:使用python作为开发语言实现,通过拆分pdf每页为一个图片,然后通过OCR识别每张图片,再根据块的位置
详细功能:制作网页RSS源,以《数据库内核月报》博客为例 角色:唯一开发者,包括需求沟通,梳理,代码编写、测试,服务部署,客户端验证 实现情况:使用python语言开发,通过爬虫技术将网页内容爬取下来,再根据RSS协议转为静态xml文件,通过http服务器开放出去,供rss客