ID：189543
Danny.Yin
python数据工程师
- 公司信息：
- 上海涌田金融
- 工作经验：
- 1年
- 兼职日薪：
- 800元/8小时
- 兼职时间：
- 可工作日远程
- 所在区域：
- 上海
- 浦东
技术能力
熟练使用scrapy进行数据获取，熟练采集上交所、深交所、等一些金融媒体网站数据。数据采集用到python、mysql、redis、破解登陆验证码等。对采集数据进行去重，断点续爬。
对数据库数据进行清洗（numpy、pandas、matplotlib）。
基于运营需求，对数据库数据使用SKlearn机器学习框架，进行一些回归、分类、聚类，训练模型以及测试模型。
使用tableau制作报告。
项目经验
1. 设计并开发爬虫系统，使用Scrapy框架爬取市场数据，负责产品数据爬取，然后进行mongodb存储，后台数据维护，数据清洗，对数据产品进行迭代和优化； 2. 对抓取数据进行消重，匹配，过滤等处理（ 使用python相关的库（numpy、pandas）等，分析市场同类产品的价格走势（基于SKlearn机器学习框架进行一些回归、分类、聚类，训练模型以及测试模型），用matplotlib对数据进行可视化，做出数据报告tableau，给销售部提供数据支持） 3. 对接运营，收集数据需求，提供需求分析，输出计划与执行方案； 4. 按照业务需求，对用户数据进行分析统计（ 根据公司的报告数据，预测客户的购买趋势，为公司业务部门提高业绩 ）以及NLP文字处理。
案例展示
-
qq音乐数据获取（样列）
使用scrapy抓取qq音乐数据，使用mysql进行数据存储。此代码为业余抓取用于分析70、80、90后的听歌类别分析使用。
-
qq音乐
使用scrapy框架对qq音乐数据提取、使用mysql存储数据，主要用于分析70、80、90后不同年龄段的听歌类别进行分析
相似人才推荐
-
600元/天高级Java,Python工程师腾讯公司概要：熟练掌握 Java, python基础知识,对数据结构有一定研究 熟练掌握redis, mysql
-
500元/天python工程师富士康科技有限公司概要：精通Python开发，目前维护和根据新增需求开发国内大厂Api数据业务，根据客户要求计算不同规则to
-
500元/天高级python开发工程师拾贝科技有限公司概要：本科学习的java，c++等。工作一直在用python、django（掌握高级用法）、flask等语 -
500元/天python爬虫工程师惠科互联网公司概要：1，python爬虫（scrapy框架，json，re去掉多余的字符串，xpath 提取数据)获 取
-
900元/天pythonwhinder概要：游戏外哈哈哈哈挂，office编程，Python数据分析，，好红红火火恍恍惚惚呵呵哈哈哈哈哈哈哈好吧
-
500元/天python工程师华强方特文化科技集团概要：python语法，精通 进程、线程、协程，熟练 mysql数据库orm，熟练 django/f
-
800元/天高级研发工程师（java、php、RPA、Python均可）贝壳找房概要：重点大学研究生，曾用c++语言写过一套重复数据删除系统，会数据可视化分析，数据爬虫，脚本处理。熟悉p -
500元/天python开发工程师成都德赛思云科技有限公司概要：我们是小型技术团队，有项目经理，产品经理，前端开发，后端开发，测试各个岗位的专业技术人员 1.py
