崗位職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的架構(gòu)、研發(fā)和持續(xù)優(yōu)化;
2、解決基礎(chǔ)架構(gòu)項(xiàng)目中的關(guān)鍵架構(gòu)問(wèn)題和技術(shù)難題,負(fù)責(zé)項(xiàng)目中關(guān)鍵技術(shù)難點(diǎn)的攻關(guān);
3、參與大數(shù)據(jù)門戶、元數(shù)據(jù)管理平臺(tái)、數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái)、可視化系統(tǒng)等系統(tǒng)的搭建和開發(fā)工作;
4、?具備良好的團(tuán)隊(duì)合作精神,較強(qiáng)的溝通能力。
任職要求:
1、本科學(xué)歷,有至少5年的Java、scala或python編程經(jīng)驗(yàn),2年以上大數(shù)據(jù)大數(shù)據(jù)架構(gòu)開發(fā)相關(guān)工作經(jīng)驗(yàn);
2、精通spark和hadoop全棧開發(fā),具備大數(shù)據(jù)平臺(tái)開發(fā)經(jīng)驗(yàn);使用hadoop及hadoop生態(tài)圈中的常用組件,如Spark、Hive、Kafka、Yarn、HBase、Presto等全部或者部分組件,精通其中3個(gè)以上優(yōu)先;
3、擁有實(shí)際的Hadoop/spark的項(xiàng)目經(jīng)驗(yàn),具有相關(guān)系統(tǒng)的調(diào)優(yōu)、運(yùn)維、開發(fā)經(jīng)驗(yàn);
4、深刻理解hadoop/spark相關(guān)技術(shù)的原理和開發(fā)方法,熟練hadoop/spark平臺(tái)的搭建部署、調(diào)優(yōu)、故障診斷、運(yùn)行維護(hù)的方法和工具;
5、對(duì)Linux操作系統(tǒng)熟練掌握,熟悉shell腳本編程;
6、具備一定的數(shù)據(jù)的分析和理解能力。
7、負(fù)責(zé)數(shù)據(jù)中臺(tái)內(nèi)數(shù)據(jù)服務(wù)中心、服務(wù)監(jiān)控、數(shù)據(jù)共享及數(shù)據(jù)治理平臺(tái)相關(guān)功能的開發(fā)及實(shí)施
8、做過(guò)建筑行業(yè)大數(shù)據(jù)軟件者優(yōu)先