崗位職責(zé):
????1、承擔建設(shè)基于大數(shù)據(jù)離線/實時處理平臺;
????2、負責(zé)公司大數(shù)據(jù)集群的構(gòu)建、運維、開發(fā)工作,確保高可用;
????3、負責(zé)集群容量規(guī)劃、擴容及集群性能優(yōu)化,參與大數(shù)據(jù)基礎(chǔ)環(huán)境的架構(gòu)設(shè)計與改進;
????4、參與業(yè)務(wù)數(shù)據(jù)、生產(chǎn)日志的抽取、轉(zhuǎn)儲、檢索等相關(guān)工作;
????5、負責(zé)數(shù)據(jù)倉庫和大數(shù)據(jù)處理模塊的架構(gòu)設(shè)計和開發(fā)。
????
????崗位要求:
????1、本科及以上學(xué)歷,5年以上Java工作經(jīng)驗,3年以上大數(shù)據(jù)開發(fā)經(jīng)驗;
????2、精通Java,熟悉Hadoop、Storm、Spark、Flume、Kafka、Hbase等組件的原理,有良好的系統(tǒng)性能優(yōu)化及故障排除能力;
????3、對HDFS、Yarn的原理有深入了解,掌握系統(tǒng)優(yōu)化、資源分配與權(quán)限控制,經(jīng)歷過完整的設(shè)計、開發(fā)、運營周期;
????4、熟悉數(shù)據(jù)倉庫、數(shù)據(jù)治理的生命周期及各類建模理論,有實際互聯(lián)網(wǎng)數(shù)據(jù)倉庫項目、數(shù)據(jù)治理項目建設(shè)經(jīng)驗;
????5、有大數(shù)據(jù)相關(guān)分布式系統(tǒng)(如Flink/Spark、HBase等)的開發(fā)經(jīng)驗;
????6、具有敏捷開發(fā)、完整產(chǎn)品生命周期開發(fā)者優(yōu)先;
????7、學(xué)習(xí)能力強,善于獨立思考,思維活躍,對技術(shù)有強烈激情。