熟悉hdfs,yarn的工作原理,了解docker,kubernetes(k8s)等虚拟化及管理技术,常用的语言是spark,python,java和shell,mysql,hive。有过一年的大数据平台经验,也有从零到一的人工智能平台经验,熟悉各类传统人机器学习和深度学习算法。技能涉及大数据,人工智能等一系列工程。
人工智能平台:主要是为用户提供交互性好,资源可弹性拓展,异构资源调度的,并封装了常用的70余种算法组件,为各部门业务提供支撑。
大数据平台:主要负责日常问题解答,集群管理与维护,性能优化,以及监控,和报表分析。
智能投顾:主要是爬虫和数据清洗。