崗位職責(zé)：1、負(fù)責(zé)爬蟲(chóng)系統(tǒng)的核心技術(shù)研究、架構(gòu)設(shè)計(jì)、系統(tǒng)規(guī)劃；2、負(fù)責(zé)爬蟲(chóng)核心算法的策略優(yōu)化，提升網(wǎng)頁(yè)抓取的效率和質(zhì)量；3、負(fù)責(zé)分布式網(wǎng)絡(luò)爬蟲(chóng)研發(fā)，通過(guò)對(duì)抓取、解析、調(diào)度、存儲(chǔ)等模塊的拆分與優(yōu)化，形成具有特色的定向爬蟲(chóng)引擎，持續(xù)改進(jìn)與迭代完善，推進(jìn)開(kāi)放服務(wù)建設(shè);4、不斷滿足精細(xì)化運(yùn)營(yíng)需求，在保證抓取系統(tǒng)不斷前進(jìn)的基礎(chǔ)上，完成日常抓取與解析任務(wù)，對(duì)數(shù)據(jù)的穩(wěn)定性負(fù)責(zé)。5、研究各種網(wǎng)頁(yè)、微信、app接口，實(shí)現(xiàn)多通道抓?。?、負(fù)責(zé)網(wǎng)頁(yè)信息抽取、數(shù)據(jù)清洗，構(gòu)建數(shù)據(jù)分析與挖掘體系，研發(fā)數(shù)據(jù)挖掘類產(chǎn)品與應(yīng)用，負(fù)責(zé)海量數(shù)據(jù)的分析挖掘。任職要求：1、熟悉Python/C++/Java三種編程語(yǔ)言中的至少一種，熟悉爬蟲(chóng)方向開(kāi)發(fā)和應(yīng)用；2、熟悉網(wǎng)絡(luò)編程、熟悉多線程機(jī)制、有過(guò)Socket?HTTP網(wǎng)絡(luò)編程項(xiàng)目經(jīng)驗(yàn)，具有爬蟲(chóng)系統(tǒng)框架設(shè)計(jì)能力，以及爬蟲(chóng)項(xiàng)目規(guī)劃能力；3、熟悉HTML，熟練正則、XPath等Web信息提取技術(shù)；4、熟悉常見(jiàn)的加解密算法及其原理，具有大型web登錄分析和搜索相關(guān)技術(shù)研發(fā)經(jīng)驗(yàn)者優(yōu)先；5、熟悉多線程編程，有高并發(fā)分布式服務(wù)器開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先；6、熟悉Mysql，redis，mongdb三者至少之一，有過(guò)數(shù)據(jù)庫(kù)調(diào)優(yōu)和海量數(shù)據(jù)存儲(chǔ)經(jīng)驗(yàn)優(yōu)先；7、具有數(shù)據(jù)挖掘、自然語(yǔ)言處理、信息檢索、機(jī)器學(xué)習(xí)背景者優(yōu)先。8、具備良好的溝通能力、對(duì)數(shù)據(jù)的渴望、敏銳的判斷、堅(jiān)韌不拔、團(tuán)隊(duì)精神。
招賢納士網(wǎng)聯(lián)盟網(wǎng)站
