昵称
大数据工程师
- 公司信息：
- 山西长河科技有限公司
- 工作经验：
- 6年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 其他
- 全区
技术能力
熟悉 python，shell 编程，了解javaSE，springMVC
熟悉 HTTP/HTTPS 协议，TCP/IP ，socket
掌握 Scrapy 框架，scrapy-redis
熟悉 Django，Flask 框架
熟练使用 MySQL,MongoDB, Redis
熟悉 Linux 命令及平台搭建等，docker 开发环境，Git 版本控制工具
熟悉 Hadoop，zookeeper，Spark 大数据生态，熟悉 kettle 工具的使用
使用过 Elasticsearch，Logstash，Kibana，pandas，matplotlib
了解前端 js，VUE，Tensorflow 神经网络
项目经验
警用系统
使用 django 框架开发后端 MySQL 作为数据存储，redis 缓存服务，celery 作为异步任务，fastDFS，Elasticsearch，
Logstash。
主要负责：
参与架构的设计，数据模型，api 接口设计。
用户注册登陆系统使用 celery 发送短信，查看和搜索(使用 Logstash 将数据从 mysql 同步到 Elasticsearch 便于搜索)商品列表，
使用 redis 缓存处理短信验证码、购物车和浏览记录等。
案例展示
-
新闻分类资讯分布式爬虫
这个项目是对新浪，勝讯等网站分类新闻资讯吧取的分布式实现。 1.采用 scrapy-redis 分布式框架实现爬虫集群，分布式使用 Redis 实现 2.存储 Request 请求和指纹集合，并目对各个 Slave 实现集中管理和控制 3.利用 Redis 的高并发读写来实
-
图书网站爬取
项目描述：爬取各个大型图书网站，如新华书店图书网，在线网上图书一号店等。获取它们图书的名称，简介，购买量，评 论量，评论数据，价格等，存入数据库。 项目技能：requests，Xpath，json，Redis，MongoDB ，协程，re 项目职责： 1.使用 reque
相似人才推荐
-
500元/天技术顾问北京和顺正业概要：1.熟练使用Django、Nginx等主流WEB框架。 2.熟练JavaScript、Ajax、
-
500元/天研发工程师扬州哈工博士科技有限公司概要：掌握使用C# winform进行界面开发，熟悉相关工业相机的二次开发，熟悉图像处理相关算法，熟悉掌握
-
500元/天软件工程师东软集团股份有限公司概要：后端Java主流技术栈Spring生态（Spring、Springboot、SpringMVC、Sp
-
800元/天项目经理上海涛驿信息科技有限公司概要：1、熟练掌握基于C#语言.NET框架下的WEB和WinForm应用程序的开发，具有清晰的面向对象思想
-
500元/天高级开发工程师某银行上海分公司概要：熟悉J2EE技术体系结构，熟练jsp,html,js,servlet等编写技巧，熟悉使用jQuery
-
500元/天数据分析师兼职概要：1、使用python 和sql 进行数据清洗转换分析，python爬虫 2、oracle数据库
-
500元/天高级数据库工程师阿里巴巴概要：1、Python编程能力：熟练掌握Python编程语言，面向对象编程、异常处理等，能够编写高质量的P
-
700元/天大数据开发工程师上海科蓝软件有限公司概要：1、熟练使用Mapreduce、Hive、Impala、Kudu、Spark、Flume、Hbase
