職責(zé)描述：
1.負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式的網(wǎng)絡(luò)爬蟲(chóng)，以及策略持續(xù)優(yōu)化；
2.解決各類(lèi)技術(shù)疑難問(wèn)題，包括網(wǎng)絡(luò)問(wèn)題、app分析、反編譯等；
3.主導(dǎo)爬蟲(chóng)核心算法的設(shè)計(jì)和優(yōu)化，海量數(shù)據(jù)清洗、存儲(chǔ)結(jié)構(gòu)等研發(fā)和優(yōu)化工作
4.參與代碼檢查、編寫(xiě)文檔，新技術(shù)的預(yù)研和使用
5.指導(dǎo)初中級(jí)開(kāi)發(fā)保證項(xiàng)目開(kāi)發(fā)進(jìn)度和質(zhì)量?
任職資格：
1、本科及其以上4年以上Python爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)?
2、熟練掌握分布式框架，能使用Scrapy、requests、selenium、kafka等技術(shù)實(shí)現(xiàn)高并發(fā)穩(wěn)定抓??；?
3、熟知HTTP、TCP、Socket等底層知識(shí)，深度了解反爬原理，能夠解決封賬號(hào)、封IP采集、selenium被識(shí)別，具備一定APP反編譯破解能力
4、有過(guò)高并發(fā)IP池調(diào)度、cookie池調(diào)度設(shè)計(jì)經(jīng)驗(yàn)
5、有實(shí)際海量數(shù)據(jù)采集、清洗、存儲(chǔ)項(xiàng)目經(jīng)驗(yàn)
6、有過(guò)數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)監(jiān)控開(kāi)發(fā)、設(shè)計(jì)使用經(jīng)驗(yàn)、有對(duì)數(shù)據(jù)負(fù)責(zé)意識(shí)