崗位職責(zé)：1、熟悉和掌握Amazon等平臺數(shù)據(jù)的抓取和數(shù)據(jù)分析；2、負(fù)責(zé)【平臺數(shù)據(jù)抓取&分析項目】的任務(wù)開發(fā)，需求討論，提供解決方案和意見；3、維護大數(shù)據(jù)抓取和分析處理相關(guān)產(chǎn)品模塊(負(fù)責(zé)目標(biāo)站點的結(jié)構(gòu)與URL特點分析，負(fù)責(zé)垂直領(lǐng)域與定向網(wǎng)站的數(shù)據(jù)采集、維護及數(shù)據(jù)異常的跟蹤處理，為品牌提供競品市場分析等數(shù)據(jù)支撐)；4、搭建數(shù)據(jù)采集平臺（Amazon等站點為主），通過對數(shù)據(jù)的抓取、解析、調(diào)度、存儲等模塊的拆分與優(yōu)化，構(gòu)建和完善統(tǒng)一的抓取服務(wù)平臺；5、參與項目相關(guān)技術(shù)設(shè)計和估算，確保任務(wù)進度，并且達到公司的質(zhì)量和需求標(biāo)準(zhǔn)；6、完成軟件系統(tǒng)代碼的實現(xiàn)，編寫代碼注釋和開發(fā)文檔，分析并解決軟件開發(fā)過程中的問題；7、與團隊成員保持積極溝通，有良好的語言表達能力；任職要求：1、【3年】及以上Java開發(fā)經(jīng)驗，熟悉windows與linux開發(fā)環(huán)境，有大型C2C、B2C電商網(wǎng)站爬蟲實踐經(jīng)驗者優(yōu)先；2、熟悉多線程網(wǎng)頁抓取原理及技術(shù)，熟悉基于Cookie的網(wǎng)站登錄原理，精通正則表達式能夠從Xpath、CSS等網(wǎng)頁信息抽取技術(shù)；3、具備信息檢索、自然語言處理、web挖掘等搜索引擎相關(guān)知識，有從事海量網(wǎng)絡(luò)爬蟲、網(wǎng)頁去重、網(wǎng)頁信息抽取的開發(fā)經(jīng)驗;4、精通html語言，熟悉Lucene/Nutch/Heritrix/larbin/jsoup/webmagic等開源工具，webmagic熟悉使用者優(yōu)先；5、熟悉Mysql管理及Sql性能調(diào)試，有數(shù)據(jù)庫設(shè)計經(jīng)驗、有良好的SQL語句習(xí)慣。了解MySQL的數(shù)據(jù)庫配置管理、性能優(yōu)化等基本操作技能；6、有一定的架構(gòu)設(shè)計能力，有很強的分析、解決問題的能力；7、具備文檔編寫能力，擁有良好的代碼習(xí)慣和語言組織能力。要求結(jié)構(gòu)清晰，命名規(guī)范，邏輯性強，代碼冗余率低；8、能承受較大的工作壓力，有較強團隊合作精神，有良好的敬業(yè)精神，富于創(chuàng)新精神，具有較強的溝通能力、學(xué)習(xí)能力；9、擁有分布式爬蟲、垂直網(wǎng)站抓取經(jīng)驗優(yōu)先；