熟悉Python/Android/PHP等多种语言,掌握Django、Selenium、Webkit等多种框架,拥有良好的大学英语和计算机专业英语教育背景,曾从事PHP网站开发、二次开发。在各大应用商店开发上传过数个Android App。对Python爬虫爬取工作有独到见解和丰富经验,包括静态和动态网页,纯HTML文本和Javascript(JS)交互数据,有过百万级文本数据爬取和筛选经验。
资讯网站开发项目(PHP);
名新闻爬取项目(Python);
CSDN博文爬虫(Python);
Android浏览器(Webkit);
Android文件快传;
该程序可以爬取各大图片(壁纸)网站和其他的图片,分类存档,模拟真实浏览,可以轻松破解大部分反爬策略,对下载限制有很好的效果。
该程序是全自动的智能新闻消息爬虫,完成对不特定新闻资讯站点的模块的自动分析和爬取工作,并对消息源站点自动记录存档至数据库,已实现自我增长的目标。基于普通电脑主机的IO限制,能达到每小时1万以上的消息源爬取。