1. 熟悉 python 开发;
2.熟悉 Java 开发;
3.大数据开发工具,如 Hadoop; Kafka; HBase 等大数据开发工具;
4.数据库,如 mongo; redis ; mysql;
在公司负责 APP 数据的爬取,数据维护,接口工作:
1. 爬虫熟悉爬虫框架;有借助套接字/redis 完成分布式爬虫开发的经验;
2. 负责项目数据的分布式存储与计算;
3. 熟悉常用的机器学习算法,训练了属于公司自己的 Bert 模型,熟悉常用的机器学习分类算法,完成了对本项目数据的分类工作;