猿急送>

北京后端兼职程序员

ID：230773

和

大数据开发工程师

公司信息：
***

工作经验：
4年

兼职日薪：
500元/8小时

兼职时间：
下班后

所在区域：
北京
昌平
天通苑东一区

技术能力

掌握语言：
java、
scala、
sql、sql编写、优化
掌握软件：
hadoop、掌握mapreduce流程，
kafka、
hive、
spark、sparkcore、sparksql 、sparksteaming

项目经验

**教育平台意向用户看板数据分析项目
项目需求：
1、统计期内，访客咨询产生的有效线索的占比。有效线索量 / 咨询量。
2、统计期内，1-24h之间，每个时间段的有效线索转化率。
3、....
Myaql、Hive
数据结构：
编写有效线索指标的DWD SQL
编写有效线索指标的DWM SQL
编写有效线索指标的DWS SQL
部分代码：
DWS层：
CREATE TABLE IF NOT EXISTS itcast_dws.itcast_clue_dws (
`clue_nums` INT COMMENT '根据id聚合',
`origin_type_stat` STRING COMMENT '数据来源:0.线下；1.线上',
`for_new_user` STRING COMMENT '0:未知；1：新客户线索；2：旧客户线索',
`hourinfo` STRING COMMENT '小时信息',
`dayinfo`STRING COMMENT '天信息',
`monthinfo` STRING COMMENT '月信息',
`time_type` STRING COMMENT '聚合时间类型：1、按小时聚合；2、按天聚合；3、按周聚合；4、按月聚合；5、按年聚合；',
`time_str` STRING COMMENT '时间明细'
)
comment '客户申诉app表'
PARTITIONED BY(yearinfo STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
stored as orcfile
TBLPROPERTIES ('orc.compress'='SNAPPY');
sqoop代码：
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/scrm \
--username root \
--password 123456 \
--query 'select `id`,`customer_relationship_first_id`,`employee_id`,`employee_name`,`employee_department_id`,`employee_tdepart_id`,`appeal_status`,`audit_id`,`audit_name`,`audit_department_id`,`audit_department_name`,`audit_date_time`,`create_date_time`,`update_date_time`,`deleted`,`tenant`,DATE_SUB(curdate(),INTERVAL 1 DAY) as start_time from customer_appeal where $CONDITIONS' \
--hcatalog-database itcast_ods \
--hcatalog-table customer_appeal \
-m 100 \
--split-by id