崗位職責(zé)：
負(fù)責(zé)美國(guó)及相關(guān)發(fā)達(dá)國(guó)家電子商務(wù)網(wǎng)站、Trade?show以及知名品牌和一般品牌商家信息的抓取；
負(fù)責(zé)網(wǎng)頁(yè)爬蟲(chóng)架構(gòu)設(shè)計(jì)與核心技術(shù)研發(fā)；
設(shè)計(jì)策略和算法，提升網(wǎng)頁(yè)抓取的效率和質(zhì)量，進(jìn)一步解決系統(tǒng)的網(wǎng)頁(yè)排重、垃圾控制、資源劃分等問(wèn)題；
解決爬蟲(chóng)開(kāi)發(fā)和反爬技術(shù)的關(guān)鍵技術(shù)難點(diǎn)。
職位要求：
大學(xué)本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)畢業(yè)；
從事過(guò)網(wǎng)絡(luò)爬蟲(chóng)研究開(kāi)發(fā)工作1年以上，精通網(wǎng)頁(yè)抓取原理及技術(shù)的實(shí)現(xiàn)細(xì)節(jié)，從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
熟悉Python或JAVA，或者熟悉.NET網(wǎng)絡(luò)編程；熟悉MySQL,Sql?Server數(shù)據(jù)庫(kù),SQL語(yǔ)句；
精通http底層協(xié)議；精通深度抓取、動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)抓取、瀏覽器模擬抓取技術(shù)等；熟悉XML、JSON、SOAP協(xié)議；
有大規(guī)模數(shù)據(jù)處理、分布式計(jì)算、數(shù)據(jù)倉(cāng)庫(kù)經(jīng)驗(yàn)者優(yōu)先；
為人正直、開(kāi)朗，積極上進(jìn)，樂(lè)于接收新鮮事物，學(xué)習(xí)能力強(qiáng)，具有強(qiáng)烈的團(tuán)隊(duì)合作意識(shí)及執(zhí)行力。