崗位職責(zé):1?、?負(fù)責(zé)抓取平臺的核心技術(shù)研發(fā)工作;2、?負(fù)責(zé)網(wǎng)絡(luò)爬蟲的核心技術(shù)研究和開發(fā);3、?設(shè)計爬蟲策略和防屏蔽規(guī)則,提升網(wǎng)頁抓取的效率和質(zhì)量;4、?分析爬蟲系統(tǒng)的技術(shù)缺陷,對策略架構(gòu)做出合理地調(diào)整和改進(jìn);???5、?負(fù)責(zé)網(wǎng)頁抓取相關(guān)在線服務(wù)、計算、調(diào)度、存儲等工程架構(gòu)開發(fā);6、?負(fù)責(zé)相關(guān)業(yè)務(wù)團(tuán)隊定向數(shù)據(jù)獲取訴求。任職條件:1、Java?開發(fā)3年以上工作經(jīng)驗。2、能熟練使用jsoup,httpclient,htmlunit,參與過爬蟲開發(fā)。3、能熟練使用Xpath?、CssSelector、正則表達(dá)式進(jìn)行數(shù)據(jù)解析。4、能熟練使用關(guān)系型數(shù)據(jù)庫?MySQL,非關(guān)系型數(shù)據(jù)庫?mongdb,?redis?緩存,rabbitmq消息隊列等。5、參與過強(qiáng)授權(quán)爬蟲開發(fā)的優(yōu)先,能獨(dú)立完成網(wǎng)站的爬蟲開發(fā)。