1. 高级爬虫。熟练掌握高性能爬虫写法,包括代理池、selenium等多种技术手段,能够有效爬取社交网络、websocket等数据,具备一定算法能力,能够结合《基于文本密度算法》实现对新闻类的通用爬虫。
2. 网络编程。精通C语言,可结合业务,实现流量加密、端口转发、自定义协议等功能。
3. 现代化的UI设计。熟练掌握vue、react等前端UI框架,采用semantic、material等设计理念对网页、APP进行设计,有大型网站开发经验。
4. 运维管理。能够快速排除服务器故障、数据节点崩溃等问题,能够按照要求写各类运维脚本。
1. 中转服务器设计。程序编写成功能够转发上万端口的流量,保证极低的内存占用和CPU占用。在该项目中,采用了两种转发方式,一种是基于linux内核的转发,将流量在内核层面直接转发给目标服务器;第二种采用应用层转发,利用IO多路复用的方式避免端口过多导致的线程同步问题。
2. 自动化爬虫平台。结合网上各类产品,对媒体类别的网站做了深入研究,优化算法,实现对全网新闻内容的自动化识别和爬取,具有极高的通用性。
3. 数据大屏。结合用户特点,有针对性的开发独有的数据展示模型,包括但不限于: 电磁数据模拟、3D机房分布、协议流量模型等。
角色 | 职位 |
负责人 | 高级技术总监 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | 后端工程师 |
随着各类探测设备在电磁环境探测中的大规模应用,数据来源广、量级大、时效强等特点越发突出。本项目利用国产数据库TDengine对物联数据进行统一管理和分析,初步实现多节点数据录入,强数据分析等功能,为下一步项目建设提供了技术支持和数据支撑。 一.基本功能 规范数据的存储与录入。
端口转发有两种方式: 1. 内核层次的转发 2. 应用层的转发 ### 内核层转发 内核层转发采用netfilter模块,如iptables和firewalld。内核主要工作在Network Layer和Link Layer层次上,且库函数不支持RSA加密(防