1. 熟练使用Python,C,
2. 掌握Shell,XML,Linux,数据库,常用数据结构及算法。
3. 掌握MySQL,MongoDB, SQLAlchemy 了解Elasticsearch,Kafka。
4. 掌握Flask,Tornado 等web 框架。
5. 掌握Hadoop,MapReduce 基本原理。
6. 掌握常见的随机森林,SVM,EM,贝叶斯网络,PCA 等机器学习算法。
7. 掌握CNN,DNN 等常见深度学习算法。
8. 了解常见的NLP 模型,word2vec,doc2vec,LSA,GloVa
【北京奇虎360 科技有限公司】
职位名称:
数据挖掘/NLP工程师
工作内容:
1.给图片类型数据添加索引:
介绍:通过对日志的数据的挖掘,获取query 信息,统计webpv,imgpv,img_ratio 等信息,去掉黑名
单,人工运营数据,通过最低条件进行过滤,通过提前设计好的规则进行rank 分类,然后添加索
引保存在数据库中。索引包括,类型,权重,是否点击反馈,Url 等信息。
2.其他任务:
刷数据:对第三方的XML 数据进行解析,提取有用信息。
Hadoop 脚本处理日志:用Hadoop Streaming 对日志脚本信息处理,如将数据出现次数进行统
计排序。
关键组件:Hadoop Streaming,XML,Shell,Python
【北京金山云技术有限公司】
职位名称:
Python 数据开发工程师
工作内容:
1. 小米枪战控制台监控服务
介绍:该服务为小米枪战游戏提供可靠服务,主要功能实现了游戏服务器集群管理,用户信息
查询,网络心跳检测,网络状况主动检测等。
关键组件:Python,Tornado,Elasticsearch,Kafka,MySQL
2. 多国语言翻译服务
介绍:该服务实现功能有,实现不同语言,项目下的语言转换。
关键组件:Python, Tornado,MySQL,SQLAlchemy
非常靠谱的老师good