基本信息

案例ID:165868

技术顾问:为雪白头 - 3年经验 - 深圳领星网络科技有限公司

联系沟通

微信扫码,建群沟通

项目名称:开源情报大数据平台

所属行业:企业服务 - 行业细分软件

->查看更多案例

案例介绍

该产品通过对海量信息的采集、处理与解释,分析特定技术领域的发展现状和未来发展方向,为科技政策决策者提供咨询参考。

-主要使用python的requests库,开发各数据源的爬虫以及爬虫API,其中遇到了各种反爬问题,例如ip封锁,账号限制等等,都使用了相应的反爬手段解决问题。
-负责设计、开发大数据源搜索功能,将30+数据源搜索规整到一个搜索入口。
-开发搜索引擎接口,集合elasticsearch数据库,redis缓存数据库,提升搜索效率。

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服