职业技能:
操作系统:熟悉linux下的基本操作命令。
编程语言:Python、Golang、JavaScript
框架:Django,Tornado,celery,Vue.js,Gin
数据库:Mysql,Redis, Mongodb,ORM
计算机网络:tcp/ip;http协议
中间件:Nginx,rabbitmq
部署:熟悉基于nginx + uwsgi(gunicorm)部署;会使用docker基本命令
其他:git,熟悉面向对象,设计模式,可编写高可用代码,微服务(了解)
互联网采集管理平台
项目简介
该平台基于“互联网+大数据 而自主研发建立的一个先进、高效、稳定的数据采集处理平台,提供数据采集、数据清洗、数据检索、数据定制、数据导出等功能 实现对互联网大数据的采集挖掘,拓展信息采集渠道等目标。
该系统分为:任务管理,基础配置,清洗配置,数据市场四大模块。
技术栈(前后端分离)
后端:django rest framework + celery + redis + mysql + nginx + gunicorm + elas-ticsearch
前端:vue + webpack + vue-router + echart
责任描述
负责搭建后端django业务架构;开发后台主要业务逻辑代码。
技术描述
1. 搭建基于mvc模式的基础架构,基于实际业务逻辑,进行业务拆分,解耦,提高系统的高可用性。
2. 使用celery + redis模式,构建后台定时任务和异步任务。
3. 负责开发任务管理,数据清洗,数据市场模块的增删改查业务接口逻辑实现。
4. 使用vue开发开发部分前端页面逻辑。
5. 使用Gunicorm 部署django后端服务,nginx部署前端业务代码。
企业内部知识资源分享平台
项目简介:
该平台主要用于知识技术,以及文件资源分享的综合平台。功能模块主要分为:用户管理,资源管理,收藏管理,权限管理。
技术栈
后端:tornado + mysql + nginx
前端:vue + webpack + vue-router
责任描述
参与需求评审,负责后端资源管理和收藏管理功能的api接口开发
技术描述
1. 使用orm实现资源管理和收藏管理功能的api接口的增删改查代码逻辑。
大数据爬虫监控平台
项目简介
该系统主要用于监控服务器上面的网络爬虫运行状况,实现全天24小时实时不间断监控爬虫。
该系统分为:服务器和爬虫管理,监控管理,日志和图表。
技术栈(前后端分离)
后端:django rest framework + websocket + mysql + nginx + gunicorm
前端:vue + webpack + vue-router + echart
责任描述
负责搭建后端基于mvc模式的django业务架构;研发后台部分业务逻辑代码。
技术描述
1. 负责搭建基础业务架构,以及集成websocket到django rest framework。
2. 开发监控管理模块的实时监控和报警通知等接口业务逻辑代码。
3. 使用vue开发开发部分前端页面逻辑。
4. 采用Gunicorm 部署django后端服务,nginx部署前端业务代码
爬虫系统架构和研发(企业工商,商标,专利数据采集)
项目简介
批量采集企业工商数据,商标,专利为广东国家税务局系统提供数据源,以便他们更精准构建企业画像,分析企业是否存在漏税逃税等情况。
技术栈
python + fiddler + re + xpath + Threadpoolexecutor(线程池) + Redis(消息队列) + MongoDB(数据存储)+ 代理ip池
责任描述
协同产品部进行爬取需求的调研,分析,然后进行爬虫架构和全部代码逻辑开发,全程参与架构开发爬取,最后数据清洗入库。
技术描述
1. 负责搭建分布式爬虫基础框架,包括反扒组件,下载器组件,页面数据解析组件,数据储存组件,数据去重组件,代理ip池组件等等。
2. 研究分析网站反扒情况,制定采集策略。
3. 研发爬虫主要代码逻辑,包括反扒组件,下载器组件,页面数据解析组件,数据储存组件
4. 服务器批量部署爬虫,以及后期爬虫监控维护等。
参与构建分布式基础架构体系:消息架构,服务注册与发现,数据存储架构等;完成项目开发以及后期项目管理迭代和维护。 技术描述 1. 参与产品需求分析和调研,与多部门沟通,梳理业务架构,最终确定业务技术架构搭建。 2. 基于现有业务架构,调研市面分析开源技术框架组件,搭建系统技术
该平台基于大数据背景下的互联网外贸SEO外链系统,聚集国内外各种社交媒体类型网站,真正做到一键生成外贸文章和一键发布SEO文章外链到国外各大社交媒体网站,实现用户产品官网的SEO推广的高效和便捷,最终提高用户的谷歌搜索域名权重。
该平台基于大数据背景下的互联网外贸SEO外链系统,聚集国内外各种社交媒体类型网站,真正做到一键生成外贸文章和一键发布SEO文章外链到国外各大社交媒体网站,实现用户产品官网的SEO推广的高效和便捷,最终提高用户的谷歌搜索域名权重。