工作職責：
1.?參與分布式爬蟲系統(tǒng)的設計與開發(fā)，核心模塊研發(fā)工作，改進和提升爬蟲效率
2.?攻破各種反爬策略，快速解決各類技術疑難問題，建設反爬對抗組件庫
3.?負責WEB信息和APP數(shù)據(jù)抽取、清洗、消重等工作
4.?實時監(jiān)控爬蟲進度和預警處理
5.?與產(chǎn)品部門和上級溝通確保數(shù)據(jù)的準確性及時性
任職要求：
·?有航司、機票、等旅游行業(yè)經(jīng)驗者優(yōu)先
·?有WEB、APP爬取和分布式爬蟲經(jīng)驗者優(yōu)先
1.?計算機及相關專業(yè)
2.?2年及以上相關工作經(jīng)驗，有一定的研究和解決問題的能力
3.?精通至少一種開發(fā)語言，如Python、Java
4.?熟練掌握至少一種開源爬蟲框架，熟練掌握mongo、redis、kafka、hadoop等相關技術
5.?對爬蟲有濃厚的興趣，責任感強，有較好的交流溝通能力和團隊合作能力；
6.?熟悉常見的反爬策略，有JavaScript反爬、APP反爬、抓包分析、反爬策略探測、逆向等領域經(jīng)驗
7.?有豐富經(jīng)驗者，可以負責和主導爬蟲組研發(fā)工作
