1. 精通Python编程,能熟练的使用Python编写代码完成指定任务。
2. 精通Python爬虫,精通Scrapy框架,能熟练应对静态页面和动态页面,处理反爬经验丰富,爬虫实战经验充足。
3. 擅长Python数据分析,能熟练使用NumPy,pandas,matplotlib完成数据清洗,处理,分析及可视化。
4. 擅长数据挖掘,机器学习,能熟练应用 经典机器学习算法(SVM,随机森林,朴素贝叶斯,PCA等)解决实际问题。
5. 项目实战经验丰富,曾与美国卡耐基梅隆大学的研究生团队合作开发自适应学习系统。曾指导团队参加天池大赛,并曾带领团队参加武汉市首届大数据大赛。
6. 英语听说读写能力突出,能熟练阅读英文技术论文、文档,能熟练的用英语进行交流。
7. 曾在国内外期款和会议上发表论文数篇,内容包括普适计算,安全认证,机器学习,软件测试等领域。
1. 与美国卡耐基梅隆大学的研究生团队合作开发自适应学习系统。收集学生的历史考试成绩信息,利用pandas进行清洗、处理及分析,借助于matplotlib可视化的呈现,应用机器学习算法挖掘影响成绩的相关因素,预测学生的成绩走向,为学生做个性化学习路线的定制,最终提升学生的学习成绩。
2. 曾爬取过淘宝网商品信息、评价信息,B站up主信息、视频,去哪儿网,腾讯招聘网,知乎,微博,豆瓣等网站,能熟练应对各种反爬虫,能熟练使用Scrapy框架,以及scrapy-redis分布式框架。
3. 带领团队参加武汉市大数据比赛,利用政府公开数据(公共交通线路信息,公共设施建设信息,每日公布疫情信息等)合理定位确诊新冠病人的影响范围,并对受影响人员作出相应级别的警示。
首先,从腾讯网站抓取实时世界新冠疫情数据,该数据为动态数据,需要解析相应的url,并处理获得到的json数据。 其次,利用pandas的DataFrame数据类型,方便快捷的处理json数据,并提取目标国家的信息。 最后,分别用matplotlib及pyecharts绘制柱状
1. 准备数据集,收集共6类鸟的540张图片,利用图像增强技术扩大数据集用来训练神经网络模型。 2. 选用VGG19作为迁移学习的模型,开放分类层进行训练。 3. 调参,最终使得模型达到满意的准确率。 4. 在迁移学习的基础上继续做fine tuning,使得模型的准确率进