崗位職責(zé):1.?參與數(shù)據(jù)平臺(tái)整體架構(gòu)設(shè)計(jì),其中包括ETL架構(gòu),Mapping,開發(fā),審核等工作2.?負(fù)責(zé)數(shù)據(jù)平臺(tái)的書數(shù)據(jù)模型主題劃分,概念模型和邏輯模型的設(shè)計(jì),以及數(shù)據(jù)模型中的分層結(jié)構(gòu)設(shè)計(jì)3.?參與數(shù)據(jù)基礎(chǔ)架構(gòu)規(guī)劃,其中包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、主數(shù)據(jù)管理、計(jì)算與存儲(chǔ)優(yōu)化、數(shù)據(jù)研發(fā)規(guī)范流程體系4.?數(shù)據(jù)平臺(tái)處理中遇到的批跑流程或性能等問題,進(jìn)行跟蹤,排查和維護(hù)5.?對(duì)于數(shù)據(jù)平臺(tái)各個(gè)環(huán)節(jié)進(jìn)行監(jiān)控,管理搭建數(shù)據(jù)平臺(tái)的元數(shù)據(jù)管理體系6、定期分享一些經(jīng)驗(yàn),而且指導(dǎo)和培養(yǎng)新員工的工作,以及審核工作內(nèi)容任職要求:1、熟練掌握主流的關(guān)系型數(shù)據(jù)庫如Oracle、mysql,PostgreSQL等,并且精通SQL語句編程2、熟練掌握toad,plsql?developer等開發(fā)工具和PowerDesigner/Erwin等建模工具3、精通Datastage、Informatic、Kettle等主流的ETL開發(fā)工具中的一種4、熟練掌握倉庫模型建模理論,掌握數(shù)據(jù)倉庫數(shù)據(jù)分層架構(gòu)策略,理解業(yè)務(wù)并進(jìn)行數(shù)據(jù)主題劃分,精通3NF和多維數(shù)據(jù)模型設(shè)計(jì)5、熟練使用編程語言,Shell/Python/Perl/Java等6、熟練掌握Hive/SQL,Hbase,Spark,Storm?等一種以上大數(shù)據(jù)處理工具和技術(shù)