掌握Python编程语言、多线程、多进程、装饰器的使用
掌握web 开发框架Django、Flask、Twisted,理解Tornado开发框架
掌握MySQL、Redis、Mongodb数据库的使用
掌握Charles、Fiddler、Postman等抓包、调试工具
掌握C语言,熟悉常见数据结构与算法
掌握Docker容器使用
掌握Numpy、Pandas、matplotlib等数据分析模块的使用
掌握css、html5、js、easyui、bootstarp、Vue等前端技术
掌握各种网页源代码解析工具,re、xpath、BeautifulSoup
掌握Linux 平台软件开发、常用指令
掌握Python爬虫框架Scrapy-Redis,及常用模块urllib、Requests
掌握使用 Git/SVN进行项目代码管理,熟悉Git-Flow流程
掌握常用机器学习算法,熟悉机器学习流程,持有CDA证书
会使用Spark框架,了解TensorFlow基本使用
了解分布式事务,分布式锁,Zookeeper原理,RPC通信原理,mycat使用
1)Datahoop数据分析平台
使用工具:Django、Mysql、celery、MongoDB、Redis
项目描述: Datahoop平台为数据分析和机器学习提供从数据处理,模型训练,数据可视化,结果保存等一站式服务,供协会CPDA学员日常学习和考试练习环境,为广大CPDA学员提供长期服务。同时为高校提供数据实验室搭建。
项目职责: 1.平台日常功能开发,数据加工,个人中心,在线选课,每周一练,金币系统,运营配置后台,首页算法推荐,社区模块,场景自建, 活动报名等功能的开发
2.CRM系统对接,超星平台对接
3.工作台,自建算法优化设计
4.解决算法输出bug, 自建算法上传,场景上传
技术要点: 1.celery异步处理算法执行,多进程提高执行效率
2.Jupyterhub集成实现多用户交互式编码,利用Docker实现用户隔离
3.利用GridFS进行较大数据集的存储
4.基于Item的协同过滤算法实现首页算法推荐
5.利用zset结构实现排行榜
6.利用Spark实现分布式计算
2)易抓AR
使用工具:Django、Charles、PyCharm、Redis
项目描述: 一款基于移动互联网与智能硬件相结合的线上娃娃机项目,足不出户便可体验抓娃娃的乐趣,产品已接入美图、芒果TV、4399、一直播、人人、微爱等渠道
项目职责: 1.对项目进行需求分析,完成积分商城,扭蛋机,道具系统,口红玩法,金币转盘,排行榜,周卡月卡, 水位设置,订单系统,库存预警,每日任务等模块的业务逻辑实现
2.完成项目维护,活动上新,版本迭代
3.进行端口调试,功能测试,数据埋点统计
4.平台登陆对接,第三方支付接入
技术要点:1.分析业务需求,制定数据库模型以及状态码定义
2.实现仓库库存预警,通过Celery异步发送钉钉消息
3.利用redis提升性能和用户体验, 后台异步写入MongoDB
4.使用crontab定时将排行榜奖品发放到用户背包
5.模拟生成用户数据,利用unittest模块、设置断言,进行单元测试
6.通过typing类型注解对参数类型进行验证、类型检查
7.pubsub+websocket实现消息主动推送
8.编写dockerfile 和 shell 脚本,完成项目的日常更新部署
9.webRTC+websocket 实现推流、拉流,jsmpeg实现视频播放
Datahoop数据分析平台 使用工具:Django、Mysql、celery、MongoDB、Redis 项目描述: Datahoop平台为数据分析和机器学习提供从数据处理,模型训练,数据可视化,结果保存等一站式服务,供协会CPDA学员日常学习和考试练习环境,为广大CPDA
易抓AR 使用工具:Django、Charles、PyCharm、Redis 项目描述: 一款基于移动互联网与智能硬件相结合的线上娃娃机项目,足不出户便可体验抓娃娃的乐趣,产品已接入美图、芒果TV、4399、一直播、人人、微爱等渠道 项目职责: 1.对项目进行需求分析,完