崗位職責(zé)
?1、參與海量數(shù)據(jù)的ETL開發(fā)，根據(jù)需求抽取各種數(shù)據(jù)；
?2、負責(zé)數(shù)據(jù)倉庫ETL流程的開發(fā)和優(yōu)化，并及時解決ETL相關(guān)技術(shù)問題；
?3、負責(zé)ETL數(shù)據(jù)準確性驗證及報表維護；
?4、參與項目基礎(chǔ)架構(gòu)規(guī)劃、ETL流程設(shè)計和相關(guān)規(guī)范制定。
?崗位要求
?1、3年以上相關(guān)工作經(jīng)驗；
?2、熟悉Linux開發(fā)環(huán)境，具備Linux系統(tǒng)分析能力；
?3、熟悉常用的數(shù)據(jù)建模理論，了解數(shù)據(jù)倉庫層級的設(shè)計；
?4、熟練使用Java/Python/Scala等語言進行開發(fā)，熟悉shell/perl等腳本語言，具有較強的開發(fā)能力；
?5、熟悉Hadoop生態(tài)，精通hdfs、spark、HBase，Hive開發(fā)，熟悉MR、presto
?6、了解yarn,?Zookeeper、ELK等開源技術(shù)；
?7、對設(shè)計和開發(fā)在線計算和離線計算系統(tǒng)，有實戰(zhàn)經(jīng)驗；
?8、對數(shù)據(jù)敏感，優(yōu)秀的技術(shù)與業(yè)務(wù)結(jié)合能力；
?9、思路清晰，善于思考，責(zé)任心強；
?10、具備良好的工作態(tài)度及溝通表達能力，工作認真負責(zé)，具備較強的團隊協(xié)作意識和能力。
