崗位職責(zé):
1、參與和負(fù)責(zé)數(shù)據(jù)倉庫基礎(chǔ)設(shè)施和平臺(tái)的搭建、開發(fā)及維護(hù)工作;
2、優(yōu)化數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái),確保數(shù)據(jù)平臺(tái)的可靠運(yùn)行;
3、搭建和維護(hù)BI報(bào)表系統(tǒng),參與ETL開發(fā);
4、了解運(yùn)營數(shù)據(jù)業(yè)務(wù)需求,提出解決方案,制定開發(fā)計(jì)劃并執(zhí)行;
5、解決海量數(shù)據(jù)不斷增長面臨的挑戰(zhàn),提高數(shù)據(jù)倉庫性能,減少業(yè)務(wù)運(yùn)營工作人員的工作量,解決業(yè)務(wù)運(yùn)營需求。
任職資格:
1、具有數(shù)據(jù)倉庫、數(shù)據(jù)集市架構(gòu)設(shè)計(jì)、開發(fā)實(shí)施經(jīng)驗(yàn);
2、有海量數(shù)據(jù)處理經(jīng)驗(yàn),熟悉分布式計(jì)算和大規(guī)模數(shù)據(jù)處理的相關(guān)技術(shù);
3、熟悉ETL開發(fā)實(shí)施流程和原理,具有ETL程序開發(fā)能力;
4、熟練使用Linux系統(tǒng),有Shell、Python等腳本編程經(jīng)驗(yàn);
5、具有Hive使用及優(yōu)化經(jīng)驗(yàn),熟悉UDF/UDAF/UDTF開發(fā);
6、熟練應(yīng)用主流關(guān)系型數(shù)據(jù)庫,精通SQL,有一定的SQL編寫和優(yōu)化調(diào)優(yōu)經(jīng)驗(yàn);
7、扎實(shí)的Java開發(fā)技術(shù)功底,熟悉Java領(lǐng)域內(nèi)的主流開源項(xiàng)目;
8、了解Hadoop/Hive源碼,有對(duì)Hadoop優(yōu)化方面的經(jīng)驗(yàn)優(yōu)先。