批量的解析txt文档,从中提取有价值的字段信息,找出每行数据关联的资源下载链接,
解决方案一 同步下载资源, 每行数据等待相关下载资源完成后再将保存文件的本地路径与数据行同步到数据库.
解决方案二 异步下载资源, 由于下载资源所需要的时间跟向数据库中插入一条链接的所需的时间严重不成正比, 所以先保存数据字段, 再开启多线程从数据库中读取下载链接异步下载
涉及技术点httpClentPool,sqlserver数据库,dbcp(sqlConnectionPool ),ThreadPool, bat脚本,Tika文件类型检查. 开发用时四天, 长期维护, 未使用框架的情况下程序压缩包只有5.*m, 小巧玲珑,性能优异