職位職責:
1、負責大數(shù)據(jù)平臺研發(fā)工作。
2、負責大數(shù)據(jù)平臺的性能調(diào)優(yōu),控制架構(gòu)質(zhì)量,解決項目技術(shù)難題;對研發(fā)項目和任務需求進行評估和方案設計、配合Leader完成開發(fā)工作。
3、實現(xiàn)大數(shù)據(jù)平臺開發(fā)、多業(yè)務系統(tǒng)數(shù)據(jù)接入、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化的架構(gòu)設計與能力,支持解決方案實施。
4、解決開發(fā)中的技術(shù)問題,設計和監(jiān)控運營指標,保障系統(tǒng)穩(wěn)定運行。
5、協(xié)助算法工程師在大數(shù)據(jù)算法平臺開發(fā)新的人工智能和機器學習算法。
6、完成技術(shù)驗證,核心技術(shù)攻關(guān),解決開發(fā)過程中技術(shù)難題。
職位要求:
1、大學本科學歷及以上,3年以上大數(shù)據(jù)開發(fā)經(jīng)驗;
2、精通流式計算技術(shù)體系,對SparkStreaming、Flink等流式計算框架有深入理解,必須有豐富的SparkStreaming實時項目+離線項目經(jīng)驗,并能夠進行調(diào)優(yōu)
3、熟悉CDH套件,能夠獨立部署CDH等各種相關(guān)組件,熟練掌握Spark,熟悉Hadoop(HDFS/MapReduce/Hive/HBase)、Kafka等技術(shù)棧,具備開發(fā)、部署和調(diào)優(yōu)能力;
4、會使用數(shù)據(jù)采集(Flume、kafka、sqoop、Logstash)、數(shù)據(jù)庫(Redis、MongoDB、ElasticSearch?、Oracle、MySQL)、數(shù)據(jù)計算(Hive、Spark、Flink)、數(shù)據(jù)查詢(Druid、Impala、Kylin)等技術(shù);
5、精通java/python/scala的一種或多種開發(fā)語言,有良好編碼習慣;
6、熟悉Linux操作系統(tǒng),Shell編程;
7、對數(shù)據(jù)、新技術(shù)敏感,能夠快速理解業(yè)務,并獨立完成數(shù)據(jù)模型設計及開發(fā);
8、有進取心,責任心強,有良好的團隊合作精神。