崗位職責(zé)：
1、負(fù)責(zé)構(gòu)建Spark/HDFS大數(shù)據(jù)處理架構(gòu),?基于Spark技術(shù)的海量數(shù)據(jù)的自動化分析處理和統(tǒng)計工作；?
2、基于Spark框架大數(shù)據(jù)架構(gòu)的設(shè)計、開發(fā)和維護(hù)；?
3、根據(jù)相關(guān)需求使用Spark?Streaming、SQL進(jìn)行數(shù)據(jù)處理、查詢和統(tǒng)計等工作；
4、負(fù)責(zé)基于Spark?MLLib進(jìn)行機(jī)器自動學(xué)習(xí)的設(shè)計和編程，實(shí)現(xiàn)大數(shù)據(jù)的深度挖掘與精準(zhǔn)營銷。?
崗位要求：
1、本科以上學(xué)歷，熟悉Spark相關(guān)技術(shù)，至少有一年的Spark開發(fā)經(jīng)驗(yàn)；
2、熟悉Spark?Streaming和Spark?SQL；
3、對大數(shù)據(jù)存儲結(jié)構(gòu)進(jìn)行設(shè)計和優(yōu)化，尤其是HBase的讀寫效率優(yōu)化；
4、精通HBase設(shè)計原理，對HBase的存儲有深刻理解，能夠針對使用場景對HBase進(jìn)行調(diào)優(yōu)和故障排除；
5、有MLlib/mahout開發(fā)經(jīng)驗(yàn)者優(yōu)先；
6、熟悉Scala語言，對Scala原理、底層技術(shù)有深入研究者優(yōu)先。
