1、熟悉java技术栈;
2、熟悉java常用框架,精通面向对象原理;
3、熟悉redis缓存技术;
4、熟悉mq,kafka等消息队列;
5、熟悉多线程、高并发开发技术;
6、熟悉mysql,sqlite,oracle等常用数据库,精通sql优化。
7、熟悉爬虫相关防反爬技术,又丰富的爬虫经验。
项目名称:搜索引擎系统
适用技术:java、python、kafka,redis,nlp,es,算法等等
担任职责:项目经理,负责系统核心架构的设计和开发,协调人力,管控项目风险等。
难点实现:支持系统国际化部署,设计海内外50多个国家和地区,只是系统高并发。后台几口监控qps为500万。通过kafka传输数据,每条处理500万+的数据。
该项目是公司智能搜索业务部子项目之一,主要负责海量数据的采集、清洗、抽取、存储等业务。数据来源主要通过爬虫获取。采集的数据网址涵盖全球,有中、英、法、德、意、日、韩、阿、俄等多国语言。数据领域涉及音乐、视频、体育、美食、旅游、酒店、地图、图片、票房、股票、证券、天气等等。系统部署
该项目是公司智能搜索业务部子项目之一,主要负责海量数据的采集、清洗、抽取、存储等业务。数据来源主要通过爬虫获取。采集的数据网址涵盖全球,有中、英、法、德、意、日、韩、阿、俄等多国语言。数据领域涉及音乐、视频、体育、美食、旅游、酒店、地图、图片、票房、股票、证券、天气等等。系统部署