1、掌握Python语言、Java语言、C++语言、PHP语言。
2、熟练掌握Scrapy爬虫技术
3、了解Spark、Hadoop大数据处理技术
4、了解图像处理技术
5、掌握一些机器学习算法
6、掌握SpringMVC技术
7、掌握ThinkPHP框架
8、了解TensorFlow神经网络框架基础知识
9、掌握MySQL、MongoDB、Redis、SqlServer数据库
1、在科大讯飞的工作是实现AI行业网页数据的增量爬取;爬虫的Docker封装,并利用集群定期启动爬虫已更新爬取到的数据;利用大数据处理工具将爬取到的数据存储到集群中;利用分词算法分析数据,匹配关键词的相似度。
2、在学校基于已采集的高温合金材料数据,完成材料数据库的设计,进而利用机器学习方法在对主要影响材料组织、性能的工艺参数进行分析,建立相应的预测模型,通过在实验之前对所要研究的对象性能进行预测,根据结果调整材料制备的工艺参数,从而降低研制成本,缩短研发时间。
3、在学校基于采集到的交通数据进行,本质上是一个模式识别或分类问题。利用数据清洗方法将采集到的原始出租车数据进行清洗。通过道路匹配将出租车数据匹配到对应的道路上,利用NMF算法提取出交通道路模式。使用KMeans聚类算法,以交通道路模式相似性与物理距离相近为评判标准提出邻居道路。使用F1评判标准去计算异常得分,从而发现较为异常的道路。