任務(wù)描述:
1、負責ETL任務(wù)的調(diào)度設(shè)計、配置和優(yōu)化,實時數(shù)據(jù)需求的快速落地。
2、負責數(shù)據(jù)倉庫模型設(shè)計,整理文檔并制定實現(xiàn)方案。
3、負責實現(xiàn)海量數(shù)據(jù)的采集、預處理、存儲組件開發(fā)。
4、負責大數(shù)據(jù)平臺的可視化管理系統(tǒng)開發(fā)。
5、參與數(shù)據(jù)管控和數(shù)據(jù)治理,負責數(shù)據(jù)準確性檢查、校對。
崗位要求:
1、熟練使用Java/Python/C++/Go語言中的一種或者多種;
2、有數(shù)據(jù)開發(fā)崗位的經(jīng)驗,對數(shù)據(jù)倉庫、數(shù)據(jù)平臺、數(shù)據(jù)分析、數(shù)據(jù)挖掘等領(lǐng)域有深刻理解,熟悉數(shù)據(jù)建模及ETL設(shè)計開發(fā);
3、熟練使用Oracle、Mysql、PostgreSQL等關(guān)系型數(shù)據(jù)庫,精通SQL、存儲過程以及自定義函數(shù)的編寫;
4、熟悉大數(shù)據(jù)生態(tài)系統(tǒng),具有CDH(或者HDP)HDFS、YARN、Hive、ES、Kylin、Hbase、Kafka、Spark、Flume、Impala、Hue、Storm、Kettle、Flink等項目開發(fā)和調(diào)優(yōu)經(jīng)驗;
5、熟練一項或多項數(shù)據(jù)展現(xiàn)框架/工具,利用Echarts、Tabeau和TreeSoft實現(xiàn)各類圖形顯示及結(jié)果分析;
6、具有良好執(zhí)行力、學習能力、團隊合作意識和創(chuàng)新精神;
7、有豐富的數(shù)據(jù)架構(gòu)經(jīng)驗者優(yōu)先;