爬蟲開發工程師

崗位職責
1、良好的python編程經驗，熟悉網絡爬蟲原理和策略；
2、熟練掌握網頁抓取原理及技術、正則表達式、多線程、HTTP協議，能從結構化的和非結構化的數據中獲取信息；
3、熟悉爬蟲、種子、解析、下載、去重、提取、過濾、調度、DNScache、異步處理等概念和過程，能夠熟練配置解析模板；
4、熟悉Nutch/Heritrix/larbin/HtmlParser/HttpClient/Jsoup中的一種或多種開源技術；
5、能夠有效分析并處理技術問題；具備良好的表達和溝通能力。
任職資格
1、負責傳統網頁信息采集與正確解析；
2、負責網頁爬蟲架構設計與核心技術研發；
3、負責互聯網資源的特征挖掘，主要對網頁特征、站點結構、資源變化趨勢等進行數據分析和特征建模；
4、設計策略和算法，提升網頁抓取的效率和質量，進一步解決系統的網頁排重、垃圾控制、資源劃分等問題；
5、負責網絡爬蟲平臺的維護工作。