具體任職資格:
1、?精通Hadoop、Hive、HBase、Spark、Yarn、Storm、Kafka、sqoop、flume等開源產品,理解其系統架構并可對其進行部署;
2、?理解在大數據平臺下進行實時和非實時數據處理的各種ETL技術和實現方法,并具備對其進行運維管理及優(yōu)化能力;
3、?熟練掌握linux操作系統;
4、?熟悉SQL語言,能熟練使用Python、JAVA、Scala等開發(fā)語言中的一種,有開發(fā)經驗者優(yōu)先;
5、?具備大規(guī)模數據平臺管理運維經驗優(yōu)先;
6、?熟悉騰訊TBDS大數據套件平臺者優(yōu)先;
7、?強烈的責任心與使命感,對所負責工作有主動意識,具備主動學習的精神和能力;
8、?具備良好的溝通能力和團隊合作能力,對技術具有較高的熱情,領悟力較強;
9、?有較好的文檔撰寫能力;
10、具備5年以上相關技術經驗。
崗位主要職責:
1、負責管理維護大數據平臺的日常運維、業(yè)務監(jiān)控、容量規(guī)劃、技術指導、故障分析/解決及系統優(yōu)化;
2、深入理解大數據平臺架構,及時發(fā)現并解決重大故障及性能瓶頸問題;
3、進行復雜故障的解決和升級,擴容等解決方案的設計并執(zhí)行;
4、開發(fā)自動化運維腳本,配合監(jiān)控系統,優(yōu)化整個運維的流程;
5、跟蹤并研究大數據新技術的發(fā)展,推進大數據平臺的技術更新演進。