大數(shù)據(jù)工程師
工作職責：
-?負責公司內(nèi)部大數(shù)據(jù)存儲、處理和查詢平臺開發(fā)
-?負責研發(fā)hadoop&spark集群平臺
-?對流動數(shù)據(jù)進行處理與存儲，并應(yīng)用數(shù)據(jù)挖掘、機器學(xué)習方法對海量數(shù)據(jù)進行分析運用
職業(yè)要求
-?熟悉數(shù)據(jù)庫工程，參與過數(shù)據(jù)庫的搭建與維護
-?熟悉hadoop&spark平臺的架設(shè)、優(yōu)化和開發(fā)能力
-?具有扎實的編程基礎(chǔ)，熟悉scala,java,python中至少一種語言
-?熟悉分類、聚類、回歸、圖計算等機器學(xué)習算法
-?有mapreduce/spark應(yīng)用開發(fā)經(jīng)驗，熟悉數(shù)據(jù)挖掘
-?具有一定的腳本語言處理、ETL、數(shù)據(jù)倉庫建模能力
-?具有海量數(shù)理處理經(jīng)驗，熟悉hadoop/spark源碼優(yōu)先考慮
-?具有關(guān)系型數(shù)據(jù)庫開發(fā)經(jīng)驗者，熟悉sql?server搭建及使用者優(yōu)先考慮