崗位職責(zé):1、參與爬蟲(chóng)系統(tǒng)的架構(gòu)設(shè)計(jì)和研發(fā),獨(dú)立進(jìn)行抓取和清洗工作;2、負(fù)責(zé)爬蟲(chóng)核心技術(shù)研究、開(kāi)發(fā)工作,對(duì)反爬蟲(chóng)屏蔽具有相應(yīng)的應(yīng)對(duì)策略;3、研究各種類型的網(wǎng)站、APP等數(shù)據(jù)的抓取,結(jié)構(gòu)化信息抽取、內(nèi)容分析及過(guò)濾,善于發(fā)現(xiàn)它們的特點(diǎn)和規(guī)律,攻克技術(shù)難點(diǎn),熟悉各網(wǎng)站或者APP的一般安全防御策略。任職要求:1、2年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn)有過(guò)網(wǎng)絡(luò)爬蟲(chóng)、網(wǎng)頁(yè)去重、網(wǎng)頁(yè)信息抽取優(yōu)先;2、掌握java/C++/js等語(yǔ)言;3、對(duì)網(wǎng)絡(luò)協(xié)議原理等熟知,熟悉web前端,可讀懂js代碼;4、掌握常見(jiàn)解析方法,會(huì)使用正則4、掌握c語(yǔ)言,有一年以上使用經(jīng)驗(yàn);5、熟練linux操作,可進(jìn)行簡(jiǎn)單維護(hù)與腳本編寫(xiě)6、熟練使用nosql數(shù)據(jù)庫(kù)中至少一種;7、有手機(jī)開(kāi)發(fā)逆向、網(wǎng)絡(luò)數(shù)據(jù)包破解、DNS緩存等經(jīng)驗(yàn)優(yōu)先。