精于网站前后端开发
有数据可视化的项目经验
精于网络爬虫,目前有维护爬取全国房价的项目,爬取大宗商品价格等等。涉及网站诸如政府网站,阿里系网站
能熟练使用多线程,多进程
Python,Mysql,php;django,hadoop,spark,kafka,Druid,superset;
.熟悉python开发
熟悉python常用库
熟悉Django,flask web开发框架
熟悉Mysql、Redis基本操作
熟悉Scrapy 爬虫框架的使用
熟悉linux常用命令
1. 爬虫
构建日均爬取20万条以上数据的网络爬虫,从二手车交易平台获取车辆的报价、售价、使用及保养情况等数据,通过机器学习算法对二手车进行估值。主要使用工具:Scrapy、Redis、Django、Mysql。
2. 基于Python、Shell的软件自动打包、测试、部署系统
一个Python和Shell语言结合编写的软件自动化测试系统。
3. 获取贷款客户信用信息的授权爬虫
征得贷款客户的授权后,使用网络爬虫技术获取用户的电话号码的使用情况信息,根据通话记录及充值习惯等进行用户画像,评估用户可信度,降低贷款风险。使用Python、MongoDB、Mysql、requests、异步协程技术、消息队列等技术。
4. 国有企业电商网络平台
使用Django、HTML、Js、CSS、Jquery、Mysql、信息加密解密技术、信息分块传输技术等构建的国企电商平台。
5. 企业招投标信息网络爬虫
获取企业招投标信息的网络爬虫软件,基于Python开发的界面化工具,打包成exe文件,支持密钥鉴权使用。
角色 | 职位 |
负责人 | Python高级工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |