崗位職責(zé)：1.?負(fù)責(zé)設(shè)計(jì)和開發(fā)網(wǎng)絡(luò)爬蟲系統(tǒng),進(jìn)行交易平臺(tái)或社會(huì)媒體平臺(tái)信息的抓取和分析;2.?能獨(dú)立開發(fā)網(wǎng)站設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則,提升網(wǎng)頁(yè)抓取效率和質(zhì)量;3.?能獨(dú)立解決實(shí)際開發(fā)過程碰到的各類問題任職要求：1.?專科以上學(xué)歷,2年以上爬蟲相關(guān)工作經(jīng)驗(yàn),具有獨(dú)立開發(fā)爬蟲類數(shù)據(jù)分析網(wǎng)站的能力2.?熟悉linux操作系統(tǒng)和熟練使用mysql數(shù)據(jù)庫(kù),不熟悉者請(qǐng)繞行!3.?精通python3編程語(yǔ)言,熟練使用urlib、requests、re等模塊.4.?有1年以上的scrapy框架開發(fā)經(jīng)驗(yàn)者優(yōu)先;5.?熟悉redis等nosql數(shù)據(jù)庫(kù)者優(yōu)先,構(gòu)建過分布式爬蟲系統(tǒng)者優(yōu)先