Jfinal:基于Java 语言的极速 web 开发框架,其核心设计目标是开发迅速、代码量少、学习简单、功能强大、轻量级、易扩展、Restful、操作数据库非常方便。
Jsoup:jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。
HttpClient:支持 HTTP 协议的客户端编程工具包,通过 HTTP 协议来访问网络资源。
Webmagic:开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。
MySQL:结构化数据存储,主要存储数据的MD5值,保证数据的唯一性。
个人技术清单
数据库
mysql
oracle
clickhouse
postgresql
编程语言
Java
python
框架
jfinal
Spring cloud
spring boot
组件
elasticseaech
Kafka
zookeeper
spark
docker
fastdfs
minio
redis
kibana
selenium
itext
jsoup
xpath
fastjson
druid
c3p0
httpclient
Linux
html
css
javascript
freemarker
svn
gitlab
presto
openlookeng
nacos
nginx
tomcat
jdbc
1、独立完成海关总署400万项目的协调开发和验收(从0到1);
2、带领一个前端人员完成40万级别的广州海关项目的需求调研、需求分析、系统设计、系统开发和项目交付。
3、团队协作完成800万级别项目的交付;
角色 | 职位 |
负责人 | Java开发工程师、Java数据采集工程师 |
队员 | 产品经理 |
队员 | 前端工程师 |
队员 | 后端工程师 |
项目没有照片,因为是内网涉密系统。 主要是爬取外网像中国禁毒网、香港海关网等各个地方涉毒信息,包括标题、正文、来源、发布时间和附件信息等。
该项目主要为某政府部门采集内部系统发函数据,采取T+1采集方式,实时监控个地方发函信息,并定时采集入库,包括函件的名称、发函时间、函件级别、涉及发票份数、金额、税额、负责管辖区单位等12项要素。 数据涉及12个表,系统上线运行了3年,采集程序一直稳定运行,没有出现维护的情况
个人技术清单 数据库 mysql oracle clickhouse postgresql 编程语言 Java python 框架 jfinal Spring cloud spring boot 组件 elasticseaech Kafk