職責(zé)描述:
?1、參與公司數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì),負(fù)責(zé)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉庫相關(guān)建設(shè);
??
2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線,負(fù)責(zé)基于Hadoop生態(tài)系統(tǒng)和MPP數(shù)據(jù)庫的大規(guī)模數(shù)據(jù)平臺(tái)的研發(fā)及數(shù)據(jù)倉庫建設(shè),提供可靠的數(shù)據(jù)存儲(chǔ)和訪問能力;
??
3、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu),保證集群高效穩(wěn)定運(yùn)行;
??
4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺(tái)系統(tǒng),處理海量數(shù)據(jù),優(yōu)化存儲(chǔ)和計(jì)算架構(gòu)的性能;
??
5、負(fù)責(zé)數(shù)據(jù)平臺(tái)技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評(píng)估,參與開發(fā)流程的討論與優(yōu)化;
??
6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施;
??
7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉庫相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作;
?8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu),指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化;
??
?任職要求:
?1、本科以上學(xué)歷,7年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn),帶領(lǐng)過10人以上的大數(shù)據(jù)團(tuán)隊(duì);
??
2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn),負(fù)責(zé)過海量數(shù)據(jù)平臺(tái)上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì);
??
3、熟悉大數(shù)據(jù)開發(fā)框架,熟悉hadoop,hbase,spark等及業(yè)界主流流處理平臺(tái);
??
4、熟悉掌握分布式存儲(chǔ)和NoSQL數(shù)據(jù)庫技術(shù)(如MonogoDB、Redis等),有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn);6、熟練掌握java,python,scalar中的至少一種編程語言,掌握常見的數(shù)據(jù)結(jié)構(gòu),算法,了解軟件工程、敏捷開發(fā)等知識(shí),熟悉常用設(shè)計(jì)模式;?
??
5、理解SOA,微服務(wù),中間件等PAAS相關(guān)的關(guān)鍵理念與技術(shù),并對(duì)其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn),樂于分享。
??
6、有信用風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。