高級(jí)數(shù)據(jù)工程師
崗位職責(zé):
1、負(fù)責(zé)/參與數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)的長(zhǎng)期架構(gòu)規(guī)劃;
2、負(fù)責(zé)/參與關(guān)系型數(shù)據(jù)庫(kù)、NOSQL、Hadoop環(huán)境的搭建、配置、管理、維護(hù)、優(yōu)化;
3、負(fù)責(zé)/參與大數(shù)據(jù)平臺(tái)架構(gòu)技術(shù)架構(gòu)設(shè)計(jì)、重構(gòu)、優(yōu)化,根據(jù)業(yè)務(wù)規(guī)劃及技術(shù)規(guī)劃制定架構(gòu)方案;
4、負(fù)責(zé)/參與大并發(fā)業(yè)務(wù)架構(gòu)的設(shè)計(jì)、評(píng)審、優(yōu)化;
5、在線業(yè)務(wù)故障的排查;
6、開(kāi)發(fā)人員的培訓(xùn)、SQL指導(dǎo)、數(shù)據(jù)算法實(shí)現(xiàn);
7、大規(guī)模數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)和維護(hù);
8、在線和離線海量數(shù)據(jù)分析平臺(tái)的開(kāi)發(fā);
9、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)和維護(hù),包括需求調(diào)研分析、軟件規(guī)劃、概念模型、設(shè)計(jì)邏輯、物理模型、數(shù)據(jù)處理(抽取、清洗、轉(zhuǎn)化)、項(xiàng)目實(shí)施管控等
任職要求:
1、熟悉主流關(guān)系型數(shù)據(jù)庫(kù)ORACLE\MYSQL\SQLSERVER原理及高可用體系
2、熟悉NOSQL數(shù)據(jù)庫(kù)MONGODB\REDIS原理及高可用
3、熟悉數(shù)據(jù)建模、ETL設(shè)計(jì)與應(yīng)用、報(bào)表開(kāi)發(fā)等,熟練掌握2~3款ETL和報(bào)表開(kāi)發(fā)工具;具有良好的編程習(xí)慣和文檔編寫(xiě)習(xí)慣;?
4、對(duì)大數(shù)據(jù)基礎(chǔ)架構(gòu)和平臺(tái)有深刻理解,對(duì)基于Hadoop的大數(shù)據(jù)體系有深入認(rèn)識(shí),具備相關(guān)產(chǎn)品(Hadoop、Hive、HBase、Pig、Sqoop、Spark等)項(xiàng)目應(yīng)用研發(fā)經(jīng)驗(yàn),有MapReduce開(kāi)發(fā)的實(shí)戰(zhàn)經(jīng)驗(yàn);
5、精通數(shù)據(jù)庫(kù)性能優(yōu)化
6、精通數(shù)據(jù)庫(kù)設(shè)計(jì)
7、精通SQL語(yǔ)句
8、熟悉linux系統(tǒng)
9、熟練掌握java、shell、python任意2種以上語(yǔ)言
10、2年以上數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)或BI系統(tǒng)實(shí)施經(jīng)驗(yàn);