一年以上python开发经验,精通python网络编程,熟悉HTTP传输协议;
- 了解搜索和爬虫开源软件(lucene,solr,mathout,firtex,lemur,indri,nutch,haddopmlarbin,QT webkit)的一种或多种,以及相关原理;
- 精通网页抓取原理及技术,精通正则表达式,从结构化的和非结构化的数据中获取信息;
- 具备信息检索、web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抓取、网页分类中任一种程序开发经验;
- 熟悉NoSql(MongoDB,Redis,Hbase等),了解大数据,有一定的Hadoop使用经验。精通Java,熟悉多线程,编程功底扎实;熟悉HTML、CSS、JavaScript、Ajax、JSON等;一年以上python开发经验,精通python网络编程,熟悉HTTP传输协议;
- 了解搜索和爬虫开源软件(lucene,solr,mathout,firtex,lemur,indri,nutch,haddopmlarbin,QT webkit)的一种或多种,以及相关原理;
- 精通网页抓取原理及技术,精通正则表达式,从结构化的和非结构化的数据中获取信息;
- 具备信息检索、web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抓取、网页分类中任一种程序开发经验;
- 熟悉NoSql(MongoDB,Redis,Hbase等),了解大数据,有一定的Hadoop使用经验。
在项目中担任爬虫开发人员;
参与需求分析、系统设计、参与项目的详细设计、编码实现、单元测试、技术支持和管理工作;
参与相关软件质量管理活动,确保设计、实现、测试工作按时保质完成;
对爬虫和互联网技术有强烈兴趣,富于钻研和探索精神;
较强的逻辑思维能力和沟通能力。