熟悉python爬虫,了解scrapy框架,selenium以及常见反爬虫机制。可以实现网页登录,全栈数据爬取。
熟悉numpy、pandas等库,了解数据清洗,预处理、特征工程以及初级统计知识。
了解scikit-learn等库,熟悉机器学习常用算法如如KNN、多元线性回归、逻辑回归、支持向量机、决策树、PCA、kmeans等算法及原理
了解Tensorflow2.0,CNN网络,梯度下降优化算法,可以实现图片分类识别,语义分割,了解LSTM网络,可以实现文本分类识别
了解mysql数据库的使用,mysql语句以及pymysql模块
1. 12306,淘宝网等网站登录,识别图片验证码
2. 网易新闻,站长素材等网站数据爬取
3. 天气数据建模,预测准确度达88%
4. TF2.0建立图片多分类模型,语义分割,LSTM网络进行文本数据分类