猿急送>

北京Java兼职程序员

ID：139498

divine

java爬虫

公司信息：
北京宸瑞科技股份有限公司

工作经验：
4年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
海淀
中科科仪

技术能力

java基础扎实，能写一些Servlet接口，了解Python及Scala的用法；
熟悉安卓逆向；
熟悉常用的开发和项目管理工具Eclipse/IDEA/Android Studio；
熟悉网页抓取原理及技术：HTTPClient/Jsoup等，能获取结构化或非结构化的数据信息；
熟悉网页抓包(FireFox/Chrome/Fiddler等)技术；
熟悉mysql数据库，了解Mongo/Redis；
熟悉常用的Linux命令，能运用docker/screen部署程序；
熟悉kafka工作原理，了解Spark的用途，了解Hadoop一些操作命令

项目经验

2018.5-至今
项目：猎豹采集
描述：获取Facebook，Twitter，YouTube，Instagram，VK，微信公众号，新浪微博的指定用户的帖子，评论，关系用户等数据
2015.6-2015.6
项目：针对漏洞论坛网站数据获取职责：数据采集
描述：对wooyun，中国黑客联盟，中国红客联盟，freebuf等网站获取用户信息，帖子信息
2015.8-2015.9
项目：股票类网站/APP数据获取职责：数据采集
描述：对雪球网APP，东方财富网网站，和讯APP 等股票类网站/APP及时更新的帖子及评论的数据获取；其中雪球网获取了用户信息
2015.11-2015.12
项目：土耳其网站/APP数据获取职责：数据采集
描述：对Waplog，bayan24，choice of love，pembe等获取用户信息
2016.2-2016.3
项目：电商类订单获取职责：数据采集
描述：对京东，淘宝订单数据下载
2016.11-2016.12
项目：宗教类论坛网站/APP数据获取职责：数据采集
描述：对阿们论坛，Buwam APP，住哲酒店等网站或APP获取用户信息
2016.12-2017.1
项目：kafka运用职责：测试
描述：通过网络了解kafka的相关知识，编写生产者API，测试通路
2017.5-2017.6
项目：lbs spark项目职责：spark程序编写
描述：对研发中心的spark项目接手，并延伸添加LBS APP的数据处理存入mongo
2016.1-2018.3
项目：LBS互联网运动轨迹平台职责：数据采集
描述：获取飞信(如今已下架)，人人(如今已下架)，碰碰，图钉，滴滴顺风车，在外，新浪微博，陌陌等APP的附近人模块数据，对平台做数据支撑
2015.3-2018.3
项目：个人采集职责：数据采集
描述：除公司固定项目支持外，平时通过运用Fiddler工具抓包或安卓逆向自主采集交友类，运动类等APP及境外APP和网站，主要有：唱吧附近人，郁金香，咕咚，行者，Instagram，Twoo，Pinterest，we heart it，Sayhi，Mico等
2016.5-2018.3
项目：地图POI数据获取职责：数据采集
描述：获取google地图POI，高德地图POI，搜狗地图POI，腾讯地图POI