先后从事于Spark大数据、Java后台开发、IOS开发、爬虫等相关工作,爬取超过几十家网站,包括且不限于Amazon、ebay、walmart等国外购物网站和国内1688供应商网站以及各大中介网站。有一定的爬虫经验和数据处理能力。大学即开始从事大数据相关工作,同时对于机器学习抱有极高热情。所以在爬取完数据后对数据的处理有一定的效率和优势。
抓取过Amazon的商品抓取、Amazon的热销排行
ebay、walmart等国外购物网站
1688的供应商抓取
58、赶集、建材网、搜房网、链家、新浪等网站
共计几十家网站,已上传本人的github上。