基本信息

案例ID:125657

技术顾问:断流水 - 4年经验 - 广州锐格科技信息有限公司

联系沟通

微信扫码,建群沟通

项目名称:文档爬虫

所属行业:金融 - 理财

->查看更多案例

案例介绍

批量的解析txt文档,从中提取有价值的字段信息,找出每行数据关联的资源下载链接,
解决方案一 同步下载资源, 每行数据等待相关下载资源完成后再将保存文件的本地路径与数据行同步到数据库.
解决方案二 异步下载资源, 由于下载资源所需要的时间跟向数据库中插入一条链接的所需的时间严重不成正比, 所以先保存数据字段, 再开启多线程从数据库中读取下载链接异步下载
涉及技术点httpClentPool,sqlserver数据库,dbcp(sqlConnectionPool ),ThreadPool, bat脚本,Tika文件类型检查. 开发用时四天, 长期维护, 未使用框架的情况下程序压缩包只有5.*m, 小巧玲珑,性能优异

相似案例推荐

其他人才的相似案例推荐

  • 爬虫平台,大数据平台

    爬虫平台,大数据平台

    There is a problem with this w

  • 珞狮金融管理系统

    珞狮金融管理系统

    该项目是一个P2P 金融类项目,通过移动互联网使用率最高的微

  • 惠兼职APP

    惠兼职APP

    1、惠兼职app,是一款网赚兼职类型的APP,用户可在app

  • 柒乐俱乐部

    柒乐俱乐部

    h5+公众号项目(类似期货网站); 前台:登录、注册、二维

  • 国王金融

    国王金融

    网站项目(对接期货公司接口,处理用户的注册以及资金出入)

  • 乌当农商银行

    乌当农商银行

    1、是一款银行APP,主要内容有用户使用手机号进行注册,注册

  • 买买乐购APP

    买买乐购APP

    该项目是一个互联网金融的助贷平台,并且结合电商功能,实现互联

  • 买买乐购APP

    买买乐购APP

    该项目是一个互联网金融的助贷平台,并且结合电商功能,实现互联

  • 平安大华基金

    平安大华基金

    基金系统的测试,代码覆盖白盒测试,性能测试,生产问题分析,需

  • 信用卡审批系统

    信用卡审批系统

    信用卡审批系统,包括进件,发起流程,定时任务,接口调用,评分

  • 人行征信系统

    人行征信系统

    具体我们web界面分成登陆模块,统计模块,二代征信查询,公安

  • 航运交易所项目

    航运交易所项目

    本项目为航运中心开发的产品摘挂牌交易以及维护的系统,包括官网

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服