ID：279162
~
python开发
- 公司信息：
- 慧科讯业（北京）网络科技有限公司
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 可工作日驻场（离职原因）
- 可工作日驻场（自由职业原因）
- 所在区域：
- 北京
- 海淀
技术能力
1.对Python爬取数据较为熟练，善于处理爬取后的数据以及处理反爬，例如封ip问题等。
2.掌握JavaScript结合selenium自动化提取数据。
3.熟悉掌握Python爬虫脚本开发，掌握Vscode和Pycharm的使用，掌握Python与Excel的交互
4.通过调整频率，配置请求头信息，cookies保持，使用代理ip池等手段应对一些网站的反爬
5.通过异常处理来处理网站分页解析不兼容的问题
6.利用BlockingScheduler设置定时任务进行数据的回溯
项目经验
**《基于Python的网络爬取并转存pdf》**
- **开发工具**：Python，redis，FTP
- **责任描述**：设计爬虫框架，编写解析规则
- **项目描述**：此项目以私募基金业务网站为例，实现了数据标题，详情页链接以及时间等信息的获 取，通过详情页链接进一步对二级页面解析从而获取详情页内容，用户也可将详情页以pdf形式转 存到本地
- **技术路线**：利用翻页获取网页接口数据的url，加上User-Agent，Content-Type等请求头以及 payload参数，**利用post请求对接口数据进行获取** → 将详情页的MD5以及详情页url作为键值对**存入redis** → 通过**遍历提取**redis中的详情页url，**利用pdfkit生成**以其MD5作为文件名的文件 → 利用**FTP服务器**与远程客户端建立连接并进行文件传输
- **问题以及解决方案**：
为加快迭代速度，创建线程池，在线程池中进行响应数据的获取，实现了阻塞操作异步执行，降低了系统的开销，提高了程序接近一倍的运行效率。
相似人才推荐
-
500元/天python开发新疆科技概要：熟悉各种python开发，网络爬虫，大数据分析 2 年计算机后端开发经验，熟练掌握 C++，jav
-
500元/天算法工程师重庆劢齐医疗科技概要：1、熟悉python、c++。 2、熟悉pytorch框架，对目标检测、语义分割、GAN等网络模型
-
500元/天python工程师工贸概要：扎实的Python编程基础，具有良好的代码风格。 熟练使用MySql等关系数据库，掌握数据库表设计
-
500元/天python爬虫大学生概要：1.Python中re、requests、beautifulSoup等库的熟练使用 2.Pytho
-
500元/天python工程师无概要：Python，爬虫，js逆向，数据分析 1.Python基础扎实，熟悉常用的类库，能运用模块化、面
-
600元/天高级python开发工程师河南锐派网络科技有限公司概要：多年的编程经验,会多种编程语言: python,javascript,delphi,html,lu
-
500元/天python自学成才概要：技术的学习在于应用到实际解决问题，简便工作，在应用中学习，在学习中成长，成长了更有利于解决问题。
-
600元/天python开发 测试华为技术有限公司概要：1、熟悉python语言，熟悉pyqt界面开发框架 2、熟悉软件测试，使用python实现测试自动
