任職資格與要求:?
1.精通大數(shù)據(jù)分析處理(Hadoop,HDFS,?MapReduce,Hbase,Pig,Hive)等技術(shù)內(nèi)部機(jī)制;有Hadoop集群搭建,管理,優(yōu)化經(jīng)驗(yàn);?
2.扎實(shí)的Java語言基礎(chǔ),熟悉Java開發(fā)工具和調(diào)試工具的使用;?
3.熟悉Linux系統(tǒng),熟練使用shell/perl/python腳本處理問題;?
4.本科及以上學(xué)歷;?
5.2年以上相關(guān)工作經(jīng)驗(yàn);?
6.有獨(dú)立解決技術(shù)問題的能力,文檔編寫能力,溝通和協(xié)作能力等;?
7.具有較強(qiáng)的團(tuán)隊(duì)意識(shí)與良好的溝通能力,高度的責(zé)任感,對(duì)工作積極嚴(yán)謹(jǐn),勇于承擔(dān)壓力,較強(qiáng)的學(xué)習(xí)能力以及快速解決問題的能力;?
8.有海量數(shù)據(jù)挖掘算法開發(fā)經(jīng)驗(yàn)者優(yōu)先;兼有Oracle,MySQL開發(fā)經(jīng)驗(yàn)者優(yōu)先。?
崗位職責(zé):?
1.負(fù)責(zé)公司的大數(shù)據(jù)處理框架的研發(fā)工作,設(shè)計(jì)與開發(fā)基于Hadoop平臺(tái)的海量日志的分布式存儲(chǔ)與數(shù)據(jù)分析架構(gòu);?
2.負(fù)責(zé)Hadoop集群配置管理,性能調(diào)優(yōu);Hadoop集群日常維護(hù),提供穩(wěn)定的系統(tǒng)服務(wù);?
3.負(fù)責(zé)MapReduce程序編寫,Hbase數(shù)據(jù)庫等開發(fā)工作;?
4.負(fù)責(zé)數(shù)據(jù)采集及預(yù)處理程序開發(fā)、維護(hù),優(yōu)化;?
5.負(fù)責(zé)項(xiàng)目相關(guān)設(shè)計(jì)、開發(fā)、測試文檔的撰寫。?