崗位職責(zé)：
1、參與數(shù)據(jù)層建設(shè)，專注于垂直領(lǐng)域數(shù)據(jù)爬取，進(jìn)行多平臺信息的抓取和分析；
2、參與爬蟲系統(tǒng)的架構(gòu)設(shè)計與開發(fā)；
3、實現(xiàn)數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫、統(tǒng)計分析等需求；
4、研究優(yōu)化算法，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性；
5、設(shè)計爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量；
6、能獨立解決實際開發(fā)過程碰到的各類問題。
任職資格：
1、全日制本科以上學(xué)歷，計算機(jī)等專業(yè)，可***。
2、有3年以上計算機(jī)編程開發(fā)經(jīng)驗，熟悉常用數(shù)據(jù)結(jié)構(gòu)，有豐富的爬蟲和反爬蟲經(jīng)驗者優(yōu)先；
?3、至少熟練掌握J(rèn)ava／Python其中一種語言，良好的編碼風(fēng)格及編碼能力；
4、熟悉高并發(fā)、高性能的分布式系統(tǒng)的設(shè)計及應(yīng)用，熟悉常用數(shù)據(jù)存儲，各種數(shù)據(jù)處理技術(shù)優(yōu)先；