崗位職責(zé):
1、負(fù)責(zé)工業(yè)大數(shù)據(jù)平臺的采集、存儲、計(jì)算、分析架構(gòu)的整體設(shè)計(jì)和搭建
2、負(fù)責(zé)基于Hbase,hive等框架的數(shù)據(jù)倉庫設(shè)計(jì)和搭建優(yōu)化
3、根據(jù)上層業(yè)務(wù)邏輯整合優(yōu)化平臺數(shù)據(jù)流程,進(jìn)行產(chǎn)品化改造,技術(shù)難點(diǎn)攻關(guān)
4、負(fù)責(zé)storm/spark?streaming流式數(shù)據(jù)的實(shí)時傳遞、清洗、轉(zhuǎn)換和計(jì)算(實(shí)時統(tǒng)計(jì)、分析等)的設(shè)計(jì)和開發(fā)
5、負(fù)責(zé)基于mapreduce,spark,hsql等數(shù)據(jù)挖掘平臺設(shè)計(jì)、核心代碼的開發(fā)和優(yōu)化
任職資格:
1、具有扎實(shí)?java?功底及開發(fā)能力,熟悉python、scala
2、熟悉Linux系統(tǒng)、網(wǎng)絡(luò)架構(gòu)、文件存儲結(jié)構(gòu)等
3、熟悉Hadoop生態(tài)體系軟件的開發(fā)、部署、運(yùn)維和調(diào)優(yōu)
4、近3年從事大數(shù)據(jù)研發(fā)、大數(shù)據(jù)處理技術(shù)架構(gòu)、數(shù)據(jù)中心性能評估設(shè)計(jì)研究等相關(guān)崗位
5、了解HDFS、YARN、Hive、HBase、Spark、Storm、Kafka、Zookeeper等大數(shù)據(jù)相關(guān)技術(shù)并對某些技術(shù)有深入的了解
6、對各種架構(gòu)模型有深入理解,了解模型的優(yōu)缺點(diǎn)
7、本科以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè)
8、工作認(rèn)真踏實(shí),有高度的責(zé)任感和良好的團(tuán)隊(duì)合作精神
9、對技術(shù)由衷熱愛,對新技術(shù)、新方向有敏感的前瞻性