崗位職責(zé):
1、該崗位主要負(fù)責(zé)大數(shù)據(jù)平臺(tái)架構(gòu)的開發(fā)和維護(hù),負(fù)責(zé)海量據(jù)的處理、分析、挖掘;
2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)產(chǎn)品開發(fā);
3、負(fù)責(zé)高并發(fā)、大存儲(chǔ)的數(shù)據(jù)系統(tǒng),實(shí)時(shí)計(jì)算處理系統(tǒng)的研發(fā);
4、負(fù)責(zé)海量數(shù)據(jù)的處理、分析、挖掘;
5、負(fù)責(zé)SQL?on?Hadoop?組件、BI引擎開發(fā)與優(yōu)化;
6、完成上級(jí)領(lǐng)導(dǎo)交辦的臨時(shí)性工作任務(wù)。
任職資格:
1、具備扎實(shí)的JAVA語(yǔ)言基礎(chǔ),擁有JAVA項(xiàng)目開發(fā)經(jīng)驗(yàn);
2、熟悉Hadoop、Hive、Spark開發(fā)編程,或者具有其他并行計(jì)算的實(shí)踐經(jīng)驗(yàn);
3、至少熟練使用Hive、Impala、Presto、SparkSQL其中一種,能夠理解內(nèi)部運(yùn)行邏輯;
4、熟悉Presto、Kylin、Spark等開源大數(shù)據(jù)處理工具或計(jì)算引擎,并構(gòu)建過(guò)相關(guān)應(yīng)用開發(fā),具有源碼修改和性能調(diào)優(yōu)能力者優(yōu)先。
5、至少熟練使用主流關(guān)系數(shù)據(jù)庫(kù)(Oracle、Mysql、DB2、SqlServer等)中的一種,熟悉SQL優(yōu)化,熟悉PL/SQL編程;
6、理解分布式緩存機(jī)制,熟悉或使用過(guò)Redis、Memcached;
7、具備良好的邏輯思維,學(xué)習(xí)能力強(qiáng),有創(chuàng)新精神,善于學(xué)習(xí)鉆研新技術(shù),良好的團(tuán)隊(duì)合作意識(shí)。
具有以下條件者優(yōu)先:
1、一年以上大數(shù)據(jù)處理、大數(shù)據(jù)分析經(jīng)驗(yàn);
2、一年以上Hadoop?相關(guān)項(xiàng)目實(shí)際研發(fā)經(jīng)驗(yàn),如Hadoop、Hive、Spark等;
3、熟悉Hadoop、Hive、Spark?底層API調(diào)用,或者對(duì)Hadoop、Hive、Spark源碼有深入研究和工作經(jīng)驗(yàn)者;
4、熟悉開源多維分析工具,如Presto、Kylin、Mondrian,具有BI引擎開發(fā)與優(yōu)化。