崗位職責
1、良好的python編程經(jīng)驗，熟悉網(wǎng)絡爬蟲原理和策略；
2、熟練掌握網(wǎng)頁抓取原理及技術、正則表達式、多線程、HTTP協(xié)議，能從結構化的和非結構化的數(shù)據(jù)中獲取信息；
3、熟悉爬蟲、種子、解析、下載、去重、提取、過濾、調度、DNScache、異步處理等概念和過程，能夠熟練配置解析模板；
4、熟悉Nutch/Heritrix/larbin/HtmlParser/HttpClient/Jsoup中的一種或多種開源技術；
5、能夠有效分析并處理技術問題；具備良好的表達和溝通能力。
任職資格
1、負責傳統(tǒng)網(wǎng)頁信息采集與正確解析；
2、負責網(wǎng)頁爬蟲架構設計與核心技術研發(fā)；
3、負責互聯(lián)網(wǎng)資源的特征挖掘，主要對網(wǎng)頁特征、站點結構、資源變化趨勢等進行數(shù)據(jù)分析和特征建模；
4、設計策略和算法，提升網(wǎng)頁抓取的效率和質量，進一步解決系統(tǒng)的網(wǎng)頁排重、垃圾控制、資源劃分等問題；
5、負責網(wǎng)絡爬蟲平臺的維護工作。