1.熟悉操作系统(多线程、多进程)、计算机网络编程、数据结构与算法等基础知识;
2. Linux 环境下开发经验,熟练使用常用 Linux 命令;
3.熟悉反爬虫原理、浏览器原理、前端 JS、AJAX;
4. 熟练使用数据库MySQL;
5. 有前端动态 JS 逆向工程经验;
6. 有非逆向、非侵入式手机APP采集经验;
7. 熟悉scrapy、selenium、pyppeteer等爬虫常用工具,熟悉各种反爬机制
8. 熟悉PC、移动端的数据抓取,能够验证码识别、图像识别等问题
9. 有一定网络安全基础
1.熟悉操作系统(多线程、多进程)、计算机网络编程、数据结构与算法等基础知识;
2. Linux 环境下开发经验,熟练使用常用 Linux 命令;
3.熟悉反爬虫原理、浏览器原理、前端 JS、AJAX;
4. 熟练使用数据库MySQL;
5. 有前端动态 JS 逆向工程经验;
6. 有非逆向、非侵入式手机APP采集经验;
7. 熟悉scrapy、selenium、pyppeteer等爬虫常用工具,熟悉各种反爬机制
8. 熟悉PC、移动端的数据抓取,能够验证码识别、图像识别等问题
9. 有一定网络安全基础
电商实时数仓项目 2021.7-2021.9 项目介绍: 该项目针对业务需求统计实时指标,实现精细化运营及精确营销服务。使用Flume实时采集埋点日志、使用Flink CDC实时采集业务数据;使用流处理计算框架Flink
离线电商数仓项目 项目介绍: 采集电商网站的用户行为日志和业务数据进行数仓建模和统计分析。该项目采集网站产生的日志数(页面日志、事件日志、曝光日志、启动日志)和业务数据进行维度建模、数仓分层建设,分为多个主题如:用户主题、品牌主题、地区主题等,来实现对于网站的更深层次的优化。