崗位職責(zé):
1、負(fù)責(zé)搭建并維護(hù)公司大數(shù)據(jù)系統(tǒng):Hadoop(CDH)集群及HBase/Hive集群,?保證其高可用性和穩(wěn)定性;
2、負(fù)責(zé)生產(chǎn)數(shù)據(jù)系統(tǒng)接入大數(shù)據(jù)系統(tǒng)的規(guī)劃和實(shí)施
3、負(fù)責(zé)設(shè)計(jì)實(shí)現(xiàn)可支撐公司業(yè)務(wù)增長(zhǎng)需要的Hadoop/HBase/Hive集群運(yùn)維平臺(tái)與工具
4、負(fù)責(zé)公司大數(shù)據(jù)系統(tǒng)各個(gè)組件(hadoop,hive,hbase,spark,yarn,flink,zookeeper,Elasticsearch,redis等)的業(yè)務(wù)監(jiān)控,數(shù)據(jù)遷移,持續(xù)交付,應(yīng)急響應(yīng),容量規(guī)劃等
5、研究Hadoop集群運(yùn)維相關(guān)技術(shù),持續(xù)優(yōu)化集群架構(gòu),發(fā)現(xiàn)并解決重大故障及性能瓶頸
6、大數(shù)據(jù)權(quán)限管理和安全設(shè)置
7、ElasticSearch集群維護(hù)與管理
任職要求:
1、3年以上大數(shù)據(jù)系統(tǒng)運(yùn)維相關(guān)經(jīng)驗(yàn);
2、熟悉Linux操作系統(tǒng);
3、精通Clouder?Manaer/CDH;熟練安裝調(diào)試Clouder?Manager/CDH集群
4、熟悉Hadoop相關(guān)生態(tài),能夠獨(dú)立安裝、配置和集成相關(guān)組件:hadoop,hive,hbase,spark,yarn,flink,zookeeper,Elasticsearch,redis等
5、熟悉分布式日志分析系統(tǒng)ELK及相關(guān)技術(shù),熟悉Elasticsearch優(yōu)先考慮
6、熟練掌握shell。
其他
1、五天制(雙休);
2、五險(xiǎn)一金;
3、員工體檢;
4、帶薪年假和國(guó)家法定節(jié)假日;
5、節(jié)日補(bǔ)貼,生日福利等;
6、豐富多彩的員工活動(dòng)。