猿急送>

成都Python兼职程序员

ID：215158

此颜厚矣身份已认证

Python开发工程师、高级爬虫工程师

公司信息：
北京悦途航空服务有限公司

工作经验：
4年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
成都
高新

技术能力

本人技能简介：熟练Python，3年开发经验，熟悉前后端开发、爬虫开发。熟悉MySQL和MongoDB数据库，熟悉HTTP协议，熟悉HTML、CSS、JS、Jquery、Ajax、Bootstrap及Django框架等，熟悉urllib、requests、scrapy等常用库和框架，熟悉xpath、正则表达式等数据提取方法，熟悉web端、移动端、app端、小程序端应用数据抓取。

项目经验

项目一：全日空航空(NH)机票信息抓取
项目描述：
1．Fiddler抓包ANA app；
2．分析request，确定所需headers及加密参数；
3．反编译app，破解关键加密参数；
4. 配置随机UA、IP代理池等；
5．requests模拟请求；
6．解析、检查及响应数据；
7．将爬虫配置为grpc service，系统调用时自动触发并响应爬取结果。
工作职责：1. 爬虫需求的承接与可行性分析。2. 爬虫开发及部署。3. 自动化工具开发及部署。4. 公司爬虫及自动化工具的维护。5. 协同业务部门提升爬虫收益。

项目二：抖音视频及用户信息抓取
项目描述：
1．通过fiddler抓包抖音app（需解决SSL Pinning）；
2．分析request，确定url、headers及所需参数；
3．构造url及headers参数，通过requests发送请求获取推荐视频response；
4．使用正则提取视频id、uid、mid、临时下载url（有过期时间）、share_url；
5．进行广告检测，剔除广告item；
6．构造并发起video share请求（需使用移动设备），使用xpath解析可获取视频title、点赞数、评论数、加密参数dytk值；
7．利用视频id、dytk构造iteminfo api url，发起请求解析response获取视频所有详细信息，包括视频描述、时长、点赞数（精确）、评论数（精确）、无水印url（不会过期）；
8．根据视频url发起请求下载视频保存到指定目录；
9．根据uid构造user share url，发起请求xpath解析response提取用户昵称、抖音ID、头像、签名、关注数、粉丝数、获赞数、作品数、喜欢数等详细信息；
10．进行数据异常检测、去重，存储到MySQL数据库。
工作职责：1. 爬虫需求的承接与可行性分析。2. 爬虫开发及部署。3. 自动化工具开发及部署。4. 公司爬虫及自动化工具的维护。5. 协同业务部门提升爬虫收益。

项目三：BesaWeb网站
项目描述：
华为基带开发与BBU芯片验证部为提升软件工程能力建设而开发的部门综合web平台。该网站主要包含首页、效率统计、合作方管理、工具中心、任务跟踪、反馈中心、在线咨询、邮件管理、登录验证等模块。效率统计模块主要包含各部门内各制式按月统计的人力投入、代码生产量、开发效率等数据，以及各制式下每个人的月份代码生产量及代码上库明细等，数据展示方式有表格、图标（柱状图、折线图、数据视图）等，所有数据均支持自定义制式和时间查询，且查询结果的数据和图表均支持下载到本地。合作方管理模块主要用于管理合作方项目计划、验收复核、周报和进度等，涉及合作方员工、PM、小组长等。工具中心分为离线工具和在线工具，离线工具支持本地上传和下载，在线工具支持界面交互并获取预期结果。反馈中心主要用于搜集用户在平台和工具的使用过程中遇到的疑难问题和功能需求等反馈信息，包含新增、查询、列表展示、搜索、排序等功能，支持文字图片混排、附件上传、富文本等。如果遇到紧急问题还可以通过Espace在线咨询功能立即联系相关接口人进行线上沟通。邮件管理模块主要用于用户订阅或取消订阅网站相关动态信息，以及主动对用户进行相关信息的推送。
工作职责：1. 需求承接及可行性分析；2. 架构设计；3. 前后端设计和编码实施；4. 进行功能点测试；5. 服务器的搭建及部署上线；6. 后期团队任务分工、任务跟进及技术指导。

案例展示

网站增加排名爬虫程序

此项目为一款根据配置好的参数前往目标网站进行自动化操作提升产品排名的爬虫工具软件，使用Python语言开发，包含GUI界面进行人工配置相应参数、网络切换、ADB连接手机操作等，任务开始后，爬虫程序启动浏览器根据配置项自动前往指定网站进行操作和相关数据获取。
公司后台管理系统

此项目为公司后台管理系统，包含员工管理、主播管理、KPI管理等，通过后端使用Python语言实现，采用flask框架，前端使用bootstrap+jQuery框架，数据存储使用MySQL数据库，每天定时或不定时调用爬虫程序到各直播平台抓取主播数据。