项目描述:
保护核心数据如价格等不被竞争对手爬虫抓取。同时作为基础服务服务性能要求满足QPS 10K ,TP99 50ms;2)简单参数类策略和频次类策略对于爬虫识别不稳定,需要应用机器学习等算法实现精准反爬虫
核心技术:Java,Machine Learning, Flink, Hbase, Hadoop
我的职责:
耗时计算策略异步化,JVM相关参数调优及主动Full GC;
增加访问行为类策略和机器学习策略,增加地理位置、星级、埋点信息等维度特征;
支持拦截方式(拒绝、混淆、滑块、验证码)动态升降级调整;