1.負(fù)責(zé)時(shí)空大數(shù)據(jù)平臺(tái)的概要設(shè)計(jì)與詳細(xì)設(shè)計(jì),包括大數(shù)據(jù)存儲(chǔ)與大數(shù)據(jù)計(jì)算框架在時(shí)空大數(shù)據(jù)平臺(tái)實(shí)際應(yīng)用場(chǎng)景中的設(shè)計(jì)工作;
2.負(fù)責(zé)時(shí)空大數(shù)據(jù)平臺(tái)開(kāi)發(fā)、集成與測(cè)試環(huán)境的具體規(guī)劃,并結(jié)合運(yùn)維編寫(xiě)輔助腳本,交互運(yùn)維實(shí)施,保證整個(gè)環(huán)境的高效運(yùn)轉(zhuǎn);
3.負(fù)責(zé)流式計(jì)算平臺(tái)開(kāi)發(fā)結(jié)合時(shí)空大數(shù)據(jù)平臺(tái)業(yè)務(wù)的應(yīng)用需求,高效采集時(shí)空大數(shù)據(jù)、處理實(shí)時(shí)數(shù)據(jù)、實(shí)時(shí)應(yīng)用場(chǎng)景的系統(tǒng)設(shè)計(jì);
4.結(jié)合時(shí)空大數(shù)據(jù)平臺(tái)的實(shí)際產(chǎn)品定義,負(fù)責(zé)Apache?Kylin大數(shù)據(jù)分析平臺(tái)的二次開(kāi)發(fā)工作;
5.負(fù)責(zé)時(shí)空大數(shù)據(jù)平臺(tái)的代碼框架的設(shè)計(jì)、集成框架的設(shè)計(jì);
6.負(fù)責(zé)基于Hadoop/Spark/Storm分布式時(shí)空大數(shù)據(jù)平臺(tái)的優(yōu)化設(shè)計(jì)工作。
?
任職要求:
1.4年以上相關(guān)工作經(jīng)驗(yàn),本科或以上學(xué)歷,計(jì)算機(jī)相關(guān)專(zhuān)業(yè);
2.具備扎實(shí)的Java語(yǔ)言基礎(chǔ);熟練使用Linux操作系統(tǒng);熟悉Shell編程;了解Scala或Python語(yǔ)言;
3.熟悉大數(shù)據(jù)領(lǐng)域的并行計(jì)算或者分布式計(jì)算,有Spark、Spark?Streaming、Hadoop等數(shù)據(jù)平臺(tái)的開(kāi)發(fā)和使用經(jīng)驗(yàn)者優(yōu)先;
4.對(duì)性能調(diào)優(yōu),算法效率和分布式計(jì)算的資源管理策略有較深的理解;
5.熟悉ZooKeeper/Kafka/Hive/HBase/ElasticSearch/等平臺(tái);
6.熟悉Github&Gitlab的使用,熟悉Jenkins等常用的代碼持續(xù)集成工具;
7.熟悉Kubernets、Mesos、Swarm等Docker集群管理框架的基本功能與用法;
8.熟悉UML設(shè)計(jì)思想、方法與常用設(shè)計(jì)工具,有一定的分布式軟件系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn),熟悉微服務(wù)架構(gòu)基本設(shè)計(jì)思路;
9.有良好的溝通能力,積極主動(dòng),樂(lè)于分享,有團(tuán)隊(duì)合作能力。