1.规划企业IT架构,包括应用架构,技术架构,数据架构,基础架构;
2.建设It研发团队;
3.优化和建设现有业务系统;
4.建放企业自主开发平台;
5.保持系统稳定,支撑业务发展和拓展;
6.研究人工智能的机器学习,自然语言处理等,熟练掌握Python3语言进行开发,包括开发爬虫。
快递公司网点信息爬取(2018/08–2018/09)
项目职务: 技术负责人
所在公司: 众卡运力
项目描述: 公司需要各个快递公司的网点位置信息,以便分析出各个地方的网点密度,从而调配各个地方的卡车运力,以达到更快响应,更低的成本,更高的收益。
项目职责: 分时间分阶段爬取各快递公司官网的快递网点信息,然后存储到mongo数据库,供后台研发人员读取数据。
项目业绩: 1、使用Python3中的Scrapy框架来爬取各快递公司的全国网点信息,如邮政等;
2、采用分布式+多线程方案,提高爬取的性能;
3、针对一些公司的反爬措施,如一段时间的请求数量,可采用cookies池或让线程等待一段时间的方案来解决,采取相应的措施来提高爬取的持续性和数据的完整性;
4、把爬取的数据通过Item进入mongo数据库,并且创建相应的mongo索引,保证后台查询的高效。
SOA统一配货(2014/10–2015/03)
项目职务: 系统架构师
所在公司: 上海美特斯邦威服饰股份有限公司
项目描述: 从各个渠道:淘宝,天猫,京东,邦购,线下实体店等产生的订单生成之后,需要在全公司范围内进行配货,简称:云货架,全流通。
我们的项目就是根据业务要求的各种规则,对订单进行配货,我们主要就是基于这些规则实现全流通配货,基于Dubbo提供服务。
项目职责: 我在项目中的职责是负责这个项目中的职责从几个方面来说:
1)业务上:负责最核心的模块-配货;
2)项目技术支撑:解决疑难问题;
3)项目配置管理
项目业绩: 1)解决疑难问题,如通过jvisualvm监控发现持久代内存不足,导致应用运行缓慢,随即增大持久大的大小;
2)由我引入并搭建完成项目持续集成工具:jenkins,实现应用在开发,测试及预发布环境的全自动化部署;
3)在配货这个业务实现上,采用“责任链”设计模式,使代码更灵活。
角色 | 职位 |
负责人 | 高级企业架构师 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | iOS工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |