崗位職責(zé):
1、參與和負(fù)責(zé)數(shù)據(jù)倉庫基礎(chǔ)設(shè)施和平臺的搭建、開發(fā)及維護工作;
2、優(yōu)化數(shù)據(jù)存儲和計算平臺,確保數(shù)據(jù)平臺的可靠運行;
3、搭建和維護BI報表系統(tǒng),參與ETL開發(fā);
4、了解運營數(shù)據(jù)業(yè)務(wù)需求,提出解決方案,制定開發(fā)計劃并執(zhí)行;
5、解決海量數(shù)據(jù)不斷增長面臨的挑戰(zhàn),提高數(shù)據(jù)倉庫性能,減少業(yè)務(wù)運營工作人員的工作量,解決業(yè)務(wù)運營需求。
任職資格:
1、具有數(shù)據(jù)倉庫、數(shù)據(jù)集市架構(gòu)設(shè)計、開發(fā)實施經(jīng)驗;
2、有海量數(shù)據(jù)處理經(jīng)驗,熟悉分布式計算和大規(guī)模數(shù)據(jù)處理的相關(guān)技術(shù);
3、熟悉ETL開發(fā)實施流程和原理,具有ETL程序開發(fā)能力;
4、熟練使用Linux系統(tǒng),有Shell、Python等腳本編程經(jīng)驗;
5、具有Hive使用及優(yōu)化經(jīng)驗,熟悉UDF/UDAF/UDTF開發(fā);
6、熟練應(yīng)用主流關(guān)系型數(shù)據(jù)庫,精通SQL,有一定的SQL編寫和優(yōu)化調(diào)優(yōu)經(jīng)驗;
7、扎實的Java開發(fā)技術(shù)功底,熟悉Java領(lǐng)域內(nèi)的主流開源項目;
8、了解Hadoop/Hive源碼,有對Hadoop優(yōu)化方面的經(jīng)驗優(yōu)先。