主要两个方向,python后台和python爬虫,熟悉flask,scrapy框架,xpath文本解析语言,mysql数据库,linux系统,celery异步框架,redis数据库。在不用框架的情况下,熟悉爬虫requests,正则表达式,本地文件批量处理,多线程和协程。有百万级的数据处理经验,零到一的项目经验,在项目中担任主力的经验。对编程有浓厚的兴趣,有很强的学习能力,能够及时解决问题的能力,及时交付的能力,有较多时间解决私活的问题。
一. 数据后台自动化采集系统
描述:该系统是为了更直观并准确地管理监控采集任务和采集数据,加快采集数据的更新和半自动 化管理采集数据,分为采集服务商管理,任务列表管理,采集数据统计及可视化等功能模块。
技术:应用 Flask 与 Celery、Scrapy 结合完成采集系统的搭建,基于 SQL 实现的数据统计和分析;主要涉及到的技术有 Python 语言,HTML,JavaScript 语言,Ajax 技术,Xpath 选择器等。
责任:参与采集系统的设计,负责采集后台的搭建与主要开发,Celery 和 Scrapy 采集程序的主要开发,采集数据的统计和可视化;采集数据的验证,采集系统需求文档、技术文档、使用文档的编写。
二. 小程序《深声朗读》
描述:此项目主要有图片文字朗读,文章文档朗读,微信公众号文章朗读等功能,通过 TTS 的核心技术实现文本内容的语音播放。
技术:使用了微模块的设计思想,flask 做后台框架,MySQL 做数据存储,python 语言逻辑实现,redis 做临时存储数据库。
责任:主要负责公众号文章的采集,语音合成与处理,数据的清洗与同步,小程序后台的设计和实现。
三. 公司官网
描述:此项目是公司的官网,分为首页、产品与服务、开发者中心、关于我们、加入我们几个大部分,是为了 更好的把本公司介绍给用户。
责任:负责后台的实现,TTS 技术的开发文档编写与维护,与前端人员对接
技术:使用前后端分离,后台使用的是 flask 框架,用 nginx 做请求转发,服务器使用 ubuntu16.04,数据库使用的是 MySQL。
作品功能:主要功能有首页的文章朗读、传图读字、文档朗读;发现页的公众号搜索栏、文章分类与文章列表;个人页的意见与反馈、分享功能与我的订阅。 负责:在这个作品中我负责文章的采集处理,音频的合成、处理、同步,后端的设计和搭建。
作品介绍:数据后台采集系统是为了更直观并准确地管理监控采集任务和采集数据,加快采集数据的更新和半自动化管理采集数据,分为采集服务商管理,任务列表管理,采集数据统计及可视化等功能模块。 责任:参与采集系统的设计,负责采集后台的搭建与主要开发,Celery 和 Scrapy 采集程