職位職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)研發(fā)工作。
2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的性能調(diào)優(yōu),控制架構(gòu)質(zhì)量,解決項(xiàng)目技術(shù)難題;對(duì)研發(fā)項(xiàng)目和任務(wù)需求進(jìn)行評(píng)估和方案設(shè)計(jì)、配合Leader完成開發(fā)工作。
3、實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)開發(fā)、多業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化的架構(gòu)設(shè)計(jì)與能力,支持解決方案實(shí)施。
4、解決開發(fā)中的技術(shù)問題,設(shè)計(jì)和監(jiān)控運(yùn)營(yíng)指標(biāo),保障系統(tǒng)穩(wěn)定運(yùn)行。
5、協(xié)助算法工程師在大數(shù)據(jù)算法平臺(tái)開發(fā)新的人工智能和機(jī)器學(xué)習(xí)算法。
6、完成技術(shù)驗(yàn)證,核心技術(shù)攻關(guān),解決開發(fā)過程中技術(shù)難題。
7.???培訓(xùn)及指導(dǎo)團(tuán)隊(duì)成員。
職位要求:
1、大學(xué)本科學(xué)歷及以上,5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),熟悉互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)解決方案者,實(shí)施過大規(guī)模數(shù)據(jù)平臺(tái)項(xiàng)目;
2、熟悉大數(shù)據(jù)技術(shù)的原理,精通流式計(jì)算技術(shù)體系,對(duì)SparkStreaming、Flink等流式計(jì)算框架有深入理解,必須有豐富的SparkStreaming實(shí)時(shí)項(xiàng)目+離線項(xiàng)目經(jīng)驗(yàn),并能夠進(jìn)行調(diào)優(yōu)
3、具有扎實(shí)的技術(shù)功底,至少掌握常用的大數(shù)據(jù)平臺(tái)技術(shù)(Apache、CDH、HDP)中的一種;
4、會(huì)使用數(shù)據(jù)采集(Flume、kafka、sqoop、Logstash)、數(shù)據(jù)庫(Redis、MongoDB、ElasticSearch?、Oracle、MySQL)、數(shù)據(jù)計(jì)算(Hive、Spark、Flink)、數(shù)據(jù)查詢(Druid、Impala、Kylin)等技術(shù);
5、精通SQL,熟悉至少一種主流關(guān)系型數(shù)據(jù)庫(Oracle/Mysql等)?,熟悉ElasticSearch集群、MongoDB集群、redis集群,并能對(duì)各種集群進(jìn)行性能調(diào)優(yōu)
6、精通java/python/scala的一種或多種開發(fā)語言,有良好編碼習(xí)慣;
7、熟悉Linux操作系統(tǒng),Shell編程;
8、熟悉容器,微服務(wù)相關(guān)技術(shù)。
9、對(duì)數(shù)據(jù)、新技術(shù)敏感,能夠快速理解業(yè)務(wù),并獨(dú)立完成數(shù)據(jù)模型設(shè)計(jì)及開發(fā);
10、有進(jìn)取心,責(zé)任心強(qiáng),有良好的團(tuán)隊(duì)合作精神。