猿急送>

西安Python兼职程序员

ID：194403

光辉岁月

Python开发工程师

公司信息：
华为

工作经验：
3年

兼职日薪：
800元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
西安
全区

技术能力

熟练掌握Python语法与流行的第三方库，熟练使用git，熟练使用Linux操作系统；
熟练掌握Django框架，熟悉flask框架，熟练使用Mysql, Redis, Mongodb等数据库；
熟悉Python常用的自带模块、了解cookie-session、JWT、以及前端的js、html等;
熟悉restful 后端api设计风格，熟练使用DRF框架实现前后端分离；
熟练开发各种功能的Python脚本，可用于测试、爬虫、及完成枯燥的重复电脑操作；
熟练掌握常见的爬虫，熟练使用requests、urllib、 Selenium、Scrapy、xpath各模块；
熟练应对反爬虫策略例如：动态cookie，验证码，ip代理，js加密和滑块验证码；

项目经验

易采通app数据采集
项目描述：获取网站上的法律、法规、地方法规、部门规章、热门法规、国际规则、案例点评、讲解音频等信息；并对接百度ai接口，进行音频转写。
开发工具：Python + Charles + windows环境
主要职责:
1. 使用charles抓取网络请求，分析请求，使用requests模块，模拟发送请求。
2. 获取app中各个模块的数据，写入到本地文件。
3. 使用多线程，下载音频文件。
技术要点：
1. 获取文件格式为html，调用Python的pypandoc模块，进行html到docx的格式转换。
2. 注册百度ai平台应用，获取调用音频转写api的权限，获取应用的api_key和secret_key
3. 音频转写为文本，获取音频文件链接，调用百度ai接口，进行音频到文本的转写。
4. 使用Python第三方模块pyinstaller对脚本进行打包成exe文件，可以在非Python环境的windows系统中执行。

arduino网站数据采集
项目描述：负责完成arduino网站所有项目的数据采集，并完成所有项目的静态化页面的下载。
开发环境： Python + xpath + redis + scrapy
主要职责：
1. 使用scrapy框架，创建项目，建立数据模型；
2. 分析网页，利用xpath和正则进行数据提取，并完成数据清洗和存储；
3. 使用scrapy框架提供的数据模型，完成网站中文件和图片的异步下载；
4. 使用脚本，完成静态网页的下载，并使用多任务和redis完成多脚本同时爬取；
技术要点：
1. 使用redis数据库完成url的存储，并设置访问条件，防止重复采集。
2. 针对非结构化数据，无法提取和保存，使用selenium+chrome访问页面。
3. 使用pyautogui模块，完成鼠标和键盘的控制，来下载静态网页文件。
4. 使用多线程及互斥锁，保证下载的效率和程序的正确执行。
5. 以文件和csv形式保存获得的数据。
网站实时数据采集
项目描述：负责爬取网站的实时变化的数据，形成数据变化趋势，为后续的决策提供依据。
开发环境：python + mysql + xpath + Ubuntu
主要职责：
1. 根据目标数据情新建mysql数据库，并完成表和字段的创建;
2. 利用脚本进行数据爬取，完成数据清洗并存入数据库；
3. 采用定时任务，固定时间间隔，获取所有数据；
4. 在阿里云服务器建立虚拟环境，安装chrome，并完成部署；
技术要点：
1. 使用正则和Xpath相结合来抓取页面信息。
2. 使用selenium定时访问，获取cookies并更新，以防止cookies过期。
3. 在脚本中使用sql语句，与数据库之间进行交互，完成数据的存储。
4. 控制爬取的速度，进行访问异常捕获，保证爬虫的稳定。