職責(zé)描述:?
?1.?參與離線、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、負(fù)責(zé)數(shù)據(jù)ETL、分析、報(bào)表設(shè)計(jì)和開(kāi)發(fā)工作?
?2.?負(fù)責(zé)數(shù)據(jù)治理工作,保障數(shù)據(jù)質(zhì)量和穩(wěn)定?
?3.?支持中型規(guī)模數(shù)據(jù)的特征提取、統(tǒng)計(jì)計(jì)算、數(shù)據(jù)分析、用戶畫像等?
?任職要求:?
?1.?計(jì)算機(jī)或相關(guān)專業(yè)本科及以上學(xué)歷,兩年以上離線、實(shí)時(shí)、OLAP數(shù)據(jù)分析處理項(xiàng)目經(jīng)驗(yàn),對(duì)數(shù)據(jù)和業(yè)務(wù)敏感;?
?2.?熟練使用SQL語(yǔ)言、java/scala/shell、熟悉?Linux/Unix?開(kāi)發(fā)環(huán)境,有實(shí)際hive、sparksql開(kāi)發(fā)經(jīng)驗(yàn);
?3.?熟悉?Hadoop、Yarn、Hive、Spark、?Flink、HBase、Kafka、zookeeper、presto、kudu、clickhouse等組件;?
?4.?熟悉數(shù)據(jù)倉(cāng)庫(kù)各類模型建模理論,了解數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分層架構(gòu),多維數(shù)據(jù)模型設(shè)計(jì);
?5.?熟悉主流前后臺(tái)相關(guān)開(kāi)發(fā)組件及框架技術(shù),包括但不限于Mysql、No-SQL、消息隊(duì)列、RPC框架、微服務(wù)框架?
??6.?有獨(dú)立安裝運(yùn)維過(guò)CDH/Ambari平臺(tái)者優(yōu)先