職責(zé):
?1.?負(fù)責(zé)多平臺信息爬取和頁面內(nèi)容的提取分析,負(fù)責(zé)破解各類反爬機(jī)制;
?2.?負(fù)責(zé)APP的數(shù)據(jù)抓取和爬取鏈路優(yōu)化(包括APP反編譯、逆向分析、脫殼、加密參數(shù)破解、抓取攻防等),提升抓取能力;
?3.?研究爬蟲策略和防屏蔽規(guī)則,解決封賬號、封IP、驗(yàn)證碼、頁面跳轉(zhuǎn)等難點(diǎn),提升網(wǎng)頁抓取的效率和質(zhì)量。
?任職要求:
?1.?本科以上學(xué)歷,1年以上爬蟲經(jīng)驗(yàn),計(jì)算機(jī)相關(guān)專業(yè),有資訊類經(jīng)驗(yàn)優(yōu)先;
?2.?熟悉掌握至少一種開源爬蟲框架(scrapy、appium、selenium等);
?3.?精通動態(tài)網(wǎng)頁抓取、瀏覽器模擬抓取、APP抓取等技術(shù),熟悉使用fiddler或其他抓包工具;
?4.?掌握MySQL、MongoDB等常用數(shù)據(jù)庫;
?5.?具有js逆向,app逆向相關(guān)經(jīng)驗(yàn)。熟悉js?hook原理,熟悉各種反爬風(fēng)控常見手段;
?6.?會構(gòu)建IP池,使用ip接口,有系統(tǒng)性大規(guī)模數(shù)據(jù)抓取經(jīng)驗(yàn)的優(yōu)先。