ID：127748
戴晶(kyle)
数据工程师
- 公司信息：
- 昆山工业研究院
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 远程
- 全区
技术能力
Python:
（1）精通Python爬虫技术，能针对各种反爬虫技术（包括验证码，滑块等）进行破解。精通scrapy框架，request，selenium，urllib等技术。
（2）熟悉各种机器学习、深度学习、强化学习算法,熟悉特征工程方法，熟悉sklearn，keras，TensorFlow，pandas等开源包。
（3）熟悉Django rest framework技术，熟悉flask
数据库:
熟悉MySQL，mongodb，redis，elasticsearch等多种数据库，熟悉elasticsearch搜索技术。
Java:
熟悉ssm框架，熟悉设计模式。
前端:
熟悉vue框架，熟悉html，css，js等技术
项目经验
（1）爬取顺企网，黄页88，电信黄页，慧聪网等多个网站企业名录，对名录进行去重，获取去重后的5000w企业名录。项目使用Python语言开发，构建基于redis的分布式爬虫，多线程异步爬取，最终数据存入mongodb。
（2）爬取国家企业信用信息公示系统，商标网，企查查，天眼查，水滴信用，政府招投标采购网，icp备案查询网等多个网站，获取企业各个维度的详细信息，并形成自动更新机制，不断更新企业名录及详细信息。项目使用Python开发，架构为基于scrapy redis的分布式爬虫，使用代理池，cookie池进行爬取。数据库为mongodb分片集群。
（3）基于Python的机器学习算法，为爬取的企业详情进行行业地域分类
（4）基于Django+vue+echart对企业数据进行可视化分析。
（5）舆情爬虫，爬取新浪，搜狐，网易，腾讯等新闻网站整站新闻，并存入elasticsearch数据库，建立舆情查询系统。
相似人才推荐
-
600元/天软件工程师汇丰软件广东有限公司概要：1、从事数据分析、BI工作六年多，对数据有较强的分析与处理能力。 2、熟悉常用数据库如orac
-
800元/天技术经理北京宇信易诚概要：保质保量按时交付！！！ 保质保量按时交付！！！ 保质保量按时交付！！！ 保质保量按时交付！！！
-
800元/天售后技术支持工程师阿里云概要：可接项目：站点环境搭建，安全加固，鼓掌排查，数据迁移，站点架构优化建议和具体操作 具备技能：lin
-
1000元/天网站工程师东方财富网概要：公司团队目前有六人，2个后端，1个前端，1个美工，ios与android各一人。 两位后端开发人员
-
500元/天爬虫工程师华中科技大学概要：● 熟悉JavaSE相关的基础知识，熟悉常用的算法及数据结构 ● 熟悉Linux，熟悉MySQL
-
1000元/天副教授浙江工业大学概要：计算机视觉，机器学习算法，模式识别，可使用tensorflow和theano机器学习框架进行深度模型
-
500元/天研究生南通大学概要：研究生期间做过c++项目，熟悉MFC的框架。 学过基础图像处理知识，了解opencv等常用视觉库的
-
600元/天高级基带算法工程师武汉导航与位置服务工业技术研究院有限责任公司概要：GPS+GLONASS+GALILEO+BD二代+BD三代+SBAS+GPS新信号体制 高精度测量型
