1、熟练掌握C/C++语言编程,熟练使用Qt开发环境;
2、熟练掌握C#语言,熟练使用Visual studio开发环境。;
3、熟练掌握Java语言基础,熟练使用Eclipse等开发工具;
4、了解html5开发,了解JavaScript、jQuery、CSS,了解node.JS、VUE等前端开发框架,可开发一般简单前端页面;
5、熟悉MySQL、SQL server;
6、熟练使用Linux操作系统;
7、熟练掌握Python语言编程;
本人有着较强的学习能力,在工作期间不断学习新技术,新理论,并从一个普通程序员发展为项目组组长。未来希望能从事人工智能,机器学习领域的开发!
2017/4-至今分布式采集系统所属公司:
上海现代通用识别技术有限公司
项目描述:
开发语言:JAVA
技术:JDK1.8+MyBatis+Tomcat 8 + MySQL NDB Cluster + Spring MVC框架
结构:BS架构
开发工具:Eclipse
项目说明:主要针对 Facebook、Linkedin、Twitter网站数据的批量采集,形成自有的数据库,存入的大数据存储平台中;
主要功能:
1、采用分布式架构,一个控制节点,多个采集节点,采集节点可随时扩展;
2、数据库采用MySQL NDB Cluster部署方案,实现分布式计算环境的高实用、可拓展、高性能、高冗余的特性;
3、支持对Facebook、Linkedin、Twitter网站的数据采集;
4、部分任务可实现定时采集(如每周采集或没日采集);
5、可根据机构名进行搜索,并将搜索结果采集入库;
6、支持采用http代理方式翻墙;
7、提供第三方接口,可供第三方系统调用该系实现数据采集与数据导出;
责任描述:
本人在该项目中作为项目组组长,统筹整个项目的开发,进度管理;
1、MySQL NDB Cluster环境搭建,根据官方文档,搭建Mysql Cluster集群;
2、整体系统框架设计与搭建;
3、负责Linkedin采集模块开发,搜索功能的实现;
4、其它开发模块任务分配、计划制定、实时跟踪进度;
5、与大数据平台对接,将采集数据实时同步至大数据平台;
6、第三方接口规范标准的制定;
7、功能模块与整体测试;