崗位職責(zé)
1.SPARK大數(shù)據(jù)平臺(tái)開發(fā),大數(shù)據(jù)處理模塊的架構(gòu)設(shè)計(jì)和開發(fā);;
2.SPARK大數(shù)據(jù)平臺(tái)部署、實(shí)施;
3.SPARK大數(shù)據(jù)平臺(tái)運(yùn)行性能、可用性、擴(kuò)展性等監(jiān)控與優(yōu)化;
4.?負(fù)責(zé)基于Spark技術(shù)的海量數(shù)據(jù)的處理、分析、統(tǒng)計(jì)、挖掘工作;
任職要求:
1.精通Hbase,HADOOP,?SPARK等一種或多種框架,有3年以上相關(guān)開發(fā)經(jīng)驗(yàn),能理解源碼能對(duì)內(nèi)核進(jìn)行修改和優(yōu)化
2.精通SPARK,至少有2年的Spark(Core/Streaming/SQL)開發(fā)經(jīng)驗(yàn);
3.?熟悉Scala/Java語言,對(duì)Scala/Java原理、底層技術(shù)有深入研究者優(yōu)先;
4.JAVA商業(yè)項(xiàng)目開發(fā)經(jīng)驗(yàn)3年以上;
5.熟悉Java開發(fā)常用框架,如spring,?ibatis/hibernate,netty等;
6.擅長(zhǎng)linux?shell;
7.優(yōu)秀的溝通能力和團(tuán)隊(duì)意識(shí);