项目描述:使用爬虫技术生成数据接口(下文简称“API”),调用接口即可获得原网站的实时数据,同时能实现登录,写入数据等功能。主要业务包括数据接口生成,数据管道搭建,基于爬虫的数据接口开发平台等。该公司有一持续迭代的API开发平台(简称“生成平台”)先后推出IDE版、云平台版、智能盒子版。
项目经验:plant代理服务器:
plant是一个http代理服务器,在代理的过程中保存http包,插入额外代码,用于帮助制作爬虫
项目经验:API生成平台云平台版
将一些简单的爬虫API制作过程进行抽象,简化API的制作流程,这一功能称为“API模板”。
项目经验:API生平台IDE版:
生成平台IDE版是一个基于eclipse rcp平台的API开发IDE。使用mapdb存储项目数据,使 mapdb重新实现项目数据存储同时处理兼容性问题。并监测mapdb文件是否损坏以及提供回滚能力。负责增强了JavaScript代码编辑器的提供功能.