具體任職資格:
1、?精通Hadoop、Hive、HBase、Spark、Yarn、Storm、Kafka、sqoop、flume等開源產(chǎn)品,理解其系統(tǒng)架構(gòu)并可對(duì)其進(jìn)行部署;
2、?理解在大數(shù)據(jù)平臺(tái)下進(jìn)行實(shí)時(shí)和非實(shí)時(shí)數(shù)據(jù)處理的各種ETL技術(shù)和實(shí)現(xiàn)方法,并具備對(duì)其進(jìn)行運(yùn)維管理及優(yōu)化能力;
3、?熟練掌握linux操作系統(tǒng);
4、?熟悉SQL語言,能熟練使用Python、JAVA、Scala等開發(fā)語言中的一種,有開發(fā)經(jīng)驗(yàn)者優(yōu)先;
5、?具備大規(guī)模數(shù)據(jù)平臺(tái)管理運(yùn)維經(jīng)驗(yàn)優(yōu)先;
6、?熟悉騰訊TBDS大數(shù)據(jù)套件平臺(tái)者優(yōu)先;
7、?強(qiáng)烈的責(zé)任心與使命感,對(duì)所負(fù)責(zé)工作有主動(dòng)意識(shí),具備主動(dòng)學(xué)習(xí)的精神和能力;
8、?具備良好的溝通能力和團(tuán)隊(duì)合作能力,對(duì)技術(shù)具有較高的熱情,領(lǐng)悟力較強(qiáng);
9、?有較好的文檔撰寫能力;
10、具備5年以上相關(guān)技術(shù)經(jīng)驗(yàn)。
崗位主要職責(zé):
1、負(fù)責(zé)管理維護(hù)大數(shù)據(jù)平臺(tái)的日常運(yùn)維、業(yè)務(wù)監(jiān)控、容量規(guī)劃、技術(shù)指導(dǎo)、故障分析/解決及系統(tǒng)優(yōu)化;
2、深入理解大數(shù)據(jù)平臺(tái)架構(gòu),及時(shí)發(fā)現(xiàn)并解決重大故障及性能瓶頸問題;
3、進(jìn)行復(fù)雜故障的解決和升級(jí),擴(kuò)容等解決方案的設(shè)計(jì)并執(zhí)行;
4、開發(fā)自動(dòng)化運(yùn)維腳本,配合監(jiān)控系統(tǒng),優(yōu)化整個(gè)運(yùn)維的流程;
5、跟蹤并研究大數(shù)據(jù)新技術(shù)的發(fā)展,推進(jìn)大數(shù)據(jù)平臺(tái)的技術(shù)更新演進(jìn)。