崗位職責(zé)：
1、分布式網(wǎng)絡(luò)爬蟲(chóng)研發(fā)，不斷完善現(xiàn)有抓取系統(tǒng)，通過(guò)對(duì)抓取、解析、調(diào)度、存儲(chǔ)等模塊的拆分與優(yōu)化，形成具有本地服務(wù)特色的定向爬蟲(chóng)引擎，持續(xù)改進(jìn)與迭代完善，推進(jìn)開(kāi)放服務(wù)建設(shè)；
2、抓取數(shù)據(jù)需求支持，不斷滿(mǎn)足精細(xì)化運(yùn)營(yíng)需求，在保證抓取系統(tǒng)不斷前進(jìn)的基礎(chǔ)上，完成日常抓取與解析任務(wù)，對(duì)數(shù)據(jù)的穩(wěn)定性負(fù)責(zé)。
任職要求：
1、熟悉并喜歡在Linux操作系統(tǒng)開(kāi)發(fā)；
2、掌握Python語(yǔ)言，有1年以上年的使用經(jīng)驗(yàn)加分；
3、熟練使用關(guān)系數(shù)據(jù)庫(kù)（如mysql）或Nosql數(shù)據(jù)庫(kù)（如mongodb），并至少精通其中的一個(gè)并在多個(gè)項(xiàng)目中使用過(guò)并有自己的心得和體會(huì)；
4、對(duì)異步處理或消息處理模式比較了解，熟悉并在項(xiàng)目中使用過(guò)twisted框架或消息中間件（如rabbitmq，activemq）加分；
5、有比較好的編程素養(yǎng)，懂得敏捷開(kāi)發(fā)方法及軟件設(shè)計(jì)模式，有實(shí)踐經(jīng)驗(yàn)；
6、了解scrapy和selenium的優(yōu)先
招賢納士網(wǎng)聯(lián)盟網(wǎng)站
