崗位職責(zé):1、完成公司大數(shù)據(jù)Spark集群進(jìn)行安裝、部署;2、完成公司產(chǎn)品基于大數(shù)據(jù)的分析模型的建立;3、負(fù)責(zé)Spark生態(tài)組件的研發(fā)與應(yīng)用。負(fù)責(zé)基于Spark的平臺(tái)性能及可用性的調(diào)優(yōu)。4、負(fù)責(zé)大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)及模塊詳細(xì)設(shè)計(jì);5、負(fù)責(zé)給產(chǎn)品開(kāi)發(fā)團(tuán)隊(duì)提供技術(shù)保障,指導(dǎo)開(kāi)發(fā)人員開(kāi)發(fā),解決系統(tǒng)開(kāi)發(fā)、運(yùn)行中出現(xiàn)的各種問(wèn)題;6、參與大數(shù)據(jù)分析代碼實(shí)現(xiàn)、單元測(cè)試、代碼修改和維護(hù)等工作。任職要求:1、大學(xué)本科或以上學(xué)歷;一年以上spark開(kāi)發(fā)經(jīng)驗(yàn);2、對(duì)?hive和Hbase精通;3、有Spark開(kāi)發(fā)經(jīng)驗(yàn),熟練掌握Scala編程及Java中的一種以上編程語(yǔ)言;4、熟練使用linux開(kāi)發(fā)環(huán)境和命令;5、精通hadoop和Spark集群進(jìn)行安裝、部署;6、主動(dòng)好學(xué)、能快速學(xué)習(xí)新知識(shí),有良好的溝通能力和團(tuán)隊(duì)合作能力。