【崗位職責(zé)】
??1.?圍繞“庫(kù)、倉(cāng)、湖一體化”戰(zhàn)略目標(biāo),以LakeHouse湖倉(cāng)一體為技術(shù)方向,圍繞K8S和OSS對(duì)象存儲(chǔ)為核心技術(shù)底座,構(gòu)建數(shù)據(jù)湖分析平臺(tái)的“開(kāi)放存儲(chǔ)管理”,“開(kāi)放處理”能力,為用戶提供統(tǒng)一全域數(shù)據(jù)的數(shù)據(jù)處理能力;
??2.?圍繞LakeHouse湖倉(cāng)一體的方向,為數(shù)據(jù)湖客戶提供各種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)高效入湖建倉(cāng)的能力,簡(jiǎn)化客戶數(shù)據(jù)入湖的難度,降低成本等;
??2.?在開(kāi)發(fā)存儲(chǔ)管理基礎(chǔ)上,以k8s為基礎(chǔ)平臺(tái),構(gòu)建Presto分析和Spark計(jì)算分析能力,從而提供端到端、有產(chǎn)品競(jìng)爭(zhēng)力的LakeHouse方案;
??【崗位要求】
??1.?計(jì)算機(jī)或相關(guān)專業(yè)本科學(xué)歷,三年以上相關(guān)工作經(jīng)驗(yàn),熟悉操作系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)、文件系統(tǒng)等計(jì)算機(jī)領(lǐng)域基礎(chǔ)知識(shí),有良好的工程基礎(chǔ);
??2.?編程基礎(chǔ)扎實(shí),擅長(zhǎng)Java編程,熟悉多線程、I/O、常用數(shù)據(jù)結(jié)構(gòu)、web開(kāi)發(fā)、緩存、分布式架構(gòu)、中間件等技術(shù),熟悉JVM基本原理和調(diào)優(yōu)手段,熟悉主流J2EE開(kāi)源框架并了解原理和機(jī)制,如Spring、Mybatis等;
??3.?熟悉主流的分析引擎,如Presto、Spark、Hive等,有相關(guān)產(chǎn)品的開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;
??4.?熟悉存儲(chǔ)相關(guān)的設(shè)計(jì)和原理,包括數(shù)據(jù)格式、壓縮編碼、索引、緩存、加密、生命周期管理等等,有MySQL?innodb、Hbase、HDFS、Hudi、Deltalake、Iceberg、Parquet、ORC、Aws?S3、Azure?Storage、Ceph等存儲(chǔ)相關(guān)產(chǎn)品的開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;
??5.?有其他一種或多種其他常見(jiàn)數(shù)據(jù)庫(kù)、大數(shù)據(jù)、NoSQL、流計(jì)算、消息、服務(wù)化、存儲(chǔ)、調(diào)度、緩存、數(shù)據(jù)鏈路等大型系統(tǒng)的架構(gòu)和開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;
??6.?有較為豐富的數(shù)據(jù)倉(cāng)庫(kù)及大數(shù)據(jù)平臺(tái)的架構(gòu)經(jīng)驗(yàn),具備大數(shù)據(jù)平臺(tái)的開(kāi)發(fā)和設(shè)計(jì)能力,搭建過(guò)大數(shù)據(jù)系統(tǒng),具備豐富的數(shù)據(jù)處理和應(yīng)用實(shí)戰(zhàn)經(jīng)驗(yàn);
??7.?有較為豐富的k8s使用經(jīng)驗(yàn),搭建過(guò)k8s系統(tǒng),具備豐富的應(yīng)用實(shí)戰(zhàn)經(jīng)驗(yàn);
??8.?良好的溝通和團(tuán)隊(duì)協(xié)作能力,能夠熟練編寫各類技術(shù)文檔,有良好的客戶服務(wù)意識(shí)和能力;