语言:Java,python,PHP scala
存储:hive redis memcache mysql hbase
大数据组件:Hadoop spark
算法 : 熟悉word2vector,fasttext,逻辑回归,GBDT, 随机森林,决策树,CART, 神经网络等深度学习算法
1.采集用户的访问日志,清洗,离线计算汇总用户的行为轨迹,做用户画像,根据推荐算法,实时获取用户访问信息做推荐。
2.python爬取某些站点的信息,用python进行数据分析统计,汇总,报表展示,有一个java开发的监控系统,数据异常进行告警。
3.获取微博的评论等相关信息,用python,C做文本预处理,用深度学习算法进行训练,进行数据挖掘,对实时的评论进行垃圾,广告等分类处理。
4.客服机器人,针对某商家网站,用php,java和深度学习构建一个智能客服机器人平台,模仿客服同客户沟通,解决客户的问题,提高用户体验,提升商家的收益,减少商家话费在客服人员的成本,效果更高效。