公司主要负责强授权爬虫工作，目前爬虫的工作已经实现本地化部署。
技能的掌握：
1.
爬虫负责的方向：网银，运营商，社保，公积金，电商，舆情系统开发，产品商户平台。 
2.
公司产品整体流程的实现：使用springBoot，springCloud搭建的微服务并集成eureka注册发现，configserver服务中心，集成zipkin进行日志管理，并集成docker（docker的镜像库用的是harber）打包到rancher上启动服务，并在rancher服务的基础上集成nginx实现负载均衡，集成kafka，zookeeper分组进行消息广播，集成jenkins实现自动检测代码的编译，然后完成rancher的应用商店的项目并配置，兼容mysql，pg两种数据库，最终配置dockerhub，webhooks实现本地化部署。
3.
rancher应用商店：通过配置生成适用于rancher环境的元数据. 集群规模可在部署完成后根据需要横向扩容。
4.
本地化部署：首先在jenkins中配置对应的代码库地址，然后配置docker Command（dockerHub的信息）然后在webhooks中添加接收器，Webhook name 为 Rancher 接收器的 value ， Webhook Url 为接收器的触发地址。
5.
AOP横切面的实现：首先定义要进行切面的方法，方法前，后进行不同的业务处理，中间还可以对特定的异常进行捕获进行自定义处理。
6.
kafka，zookeeper消息中间件的实现：接收方和发送方进行频道，组的名称（如果你指定了group，即便这个组下面的所有服务都down，在下次服务重启的时候，信息也会从上次的地方继续获取信息）设置
7.
在微服务的基础上整合Swagger2在线文档，离线文档word，pdf的生成。
8.
rem移动web开发适配，redis5中cluster集群的搭建，容器扩容，内存碎片的整理。
9.
其中舆情的系统使用的elasticsearch分布式数据库实现，项目中使用的是ES-JAVA对应的api获取对应的数据，获取click端并建立连接从而获取数据，例如：分词精确查询（term query），范围查询(range query),通配符查询（wildcard query），正则表达式查询（regexp query）等等。