崗位職責:
1、負責公司大數(shù)據(jù)平臺的部署、管理、容量規(guī)劃、性能優(yōu)化、監(jiān)控報警,持續(xù)對大數(shù)據(jù)平臺進行優(yōu)化;
2、負責大數(shù)據(jù)平臺日常運維管理、服務監(jiān)控、故障處理、集群性能和資源利用率優(yōu)化,為開發(fā)人員提供技術支持;
3、負責大數(shù)據(jù)平臺自動化運維、監(jiān)控報警、故障處理相關腳本和工具開發(fā);
4、負責海量日志系統(tǒng)、分布式存儲的維護、優(yōu)化;
5、參與MySQL、TiDB等主流數(shù)據(jù)庫架構與高可用方案設計、優(yōu)化、維護,制定數(shù)據(jù)庫監(jiān)控、備份、容災策略;
崗位要求:
1、本科及以上學歷,計算機相關專業(yè),2年以上大數(shù)據(jù)運維或相關工作經(jīng)驗;
2、深入理解linux系統(tǒng)及運維體系結構,精于容量規(guī)劃、架構設計、性能優(yōu)化,能夠獨立排查及解決操作系統(tǒng)層面的問題;
3、熟悉主流大數(shù)據(jù)計算引擎(Hadoop、Spark、Flink等),深刻理解內(nèi)部機制和原理;
4、對Hadoop生態(tài)技術體系有深入理解,包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Kudu/Kylin/Hue/Sqoop/Elasticsearch等組件的工作原理、安裝調(diào)試、性能優(yōu)化;
5、熟悉大數(shù)據(jù)組件的容災、擴容、備份、優(yōu)化管理,具有較大規(guī)模集群的設計、部署和調(diào)優(yōu)經(jīng)驗;
6、熟悉Python/Java/Scala/Shell等一種以上開發(fā)語言,了解常用算法和數(shù)據(jù)結構;
7、有運維自動化、監(jiān)控系統(tǒng)、發(fā)布系統(tǒng)、大數(shù)據(jù)平臺等開發(fā)經(jīng)驗優(yōu)先考慮;
8、熟悉MySQL數(shù)據(jù)庫的管理、擴容、備份、災備、優(yōu)化、高可用及垂直、水平伸縮、擴展方案為加分項;