高級數(shù)據(jù)工程師
崗位職責(zé):
1、負(fù)責(zé)/參與數(shù)據(jù)庫/數(shù)據(jù)倉庫的長期架構(gòu)規(guī)劃;
2、負(fù)責(zé)/參與關(guān)系型數(shù)據(jù)庫、NOSQL、Hadoop環(huán)境的搭建、配置、管理、維護、優(yōu)化;
3、負(fù)責(zé)/參與大數(shù)據(jù)平臺架構(gòu)技術(shù)架構(gòu)設(shè)計、重構(gòu)、優(yōu)化,根據(jù)業(yè)務(wù)規(guī)劃及技術(shù)規(guī)劃制定架構(gòu)方案;
4、負(fù)責(zé)/參與大并發(fā)業(yè)務(wù)架構(gòu)的設(shè)計、評審、優(yōu)化;
5、在線業(yè)務(wù)故障的排查;
6、開發(fā)人員的培訓(xùn)、SQL指導(dǎo)、數(shù)據(jù)算法實現(xiàn);
7、大規(guī)模數(shù)據(jù)挖掘和機器學(xué)習(xí)算法的實現(xiàn)和維護;
8、在線和離線海量數(shù)據(jù)分析平臺的開發(fā);
9、負(fù)責(zé)數(shù)據(jù)倉庫的建設(shè)和維護,包括需求調(diào)研分析、軟件規(guī)劃、概念模型、設(shè)計邏輯、物理模型、數(shù)據(jù)處理(抽取、清洗、轉(zhuǎn)化)、項目實施管控等
任職要求:
1、熟悉主流關(guān)系型數(shù)據(jù)庫ORACLE\MYSQL\SQLSERVER原理及高可用體系
2、熟悉NOSQL數(shù)據(jù)庫MONGODB\REDIS原理及高可用
3、熟悉數(shù)據(jù)建模、ETL設(shè)計與應(yīng)用、報表開發(fā)等,熟練掌握2~3款ETL和報表開發(fā)工具;具有良好的編程習(xí)慣和文檔編寫習(xí)慣;?
4、對大數(shù)據(jù)基礎(chǔ)架構(gòu)和平臺有深刻理解,對基于Hadoop的大數(shù)據(jù)體系有深入認(rèn)識,具備相關(guān)產(chǎn)品(Hadoop、Hive、HBase、Pig、Sqoop、Spark等)項目應(yīng)用研發(fā)經(jīng)驗,有MapReduce開發(fā)的實戰(zhàn)經(jīng)驗;
5、精通數(shù)據(jù)庫性能優(yōu)化
6、精通數(shù)據(jù)庫設(shè)計
7、精通SQL語句
8、熟悉linux系統(tǒng)
9、熟練掌握java、shell、python任意2種以上語言
10、2年以上數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)或BI系統(tǒng)實施經(jīng)驗;