工作職責(zé):
1、負(fù)責(zé)實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)、開發(fā)和維護(hù),實(shí)現(xiàn)ETL流程,確保數(shù)據(jù)的高質(zhì)量和一致性。
2、基于Flink實(shí)現(xiàn)復(fù)雜的數(shù)據(jù)流處理任務(wù),并進(jìn)行性能調(diào)優(yōu)。
3、與架構(gòu)師合作,支持業(yè)務(wù)數(shù)據(jù)需求,提供及時(shí)和準(zhǔn)確的數(shù)據(jù)服務(wù)。
4、監(jiān)控和優(yōu)化數(shù)據(jù)處理流程,解決生產(chǎn)環(huán)境中的問題和故障。?
任職資格:?
1、對(duì)流式計(jì)算系統(tǒng)有深入的了解,在生產(chǎn)環(huán)境有TB級(jí)別Flink實(shí)時(shí)計(jì)算系統(tǒng)開發(fā)經(jīng)驗(yàn),深入掌握Flink?DataStream、Flink?SQL、Flink?Checkpoint、Flink?State等模塊,有Flink源碼閱讀經(jīng)驗(yàn)者優(yōu)先。?
2、熟悉Java、Scala、Python、SQL等編程語言,具有優(yōu)秀的編碼和trouble-shooting能力。?
3、熟悉其他大數(shù)據(jù)系統(tǒng)經(jīng)驗(yàn)者優(yōu)先,例如YARN、K8S、Spark、Spark?SQL、Kudu等。?
4、具備存儲(chǔ)系統(tǒng)經(jīng)驗(yàn)者優(yōu)先,例如HBase、Cassandra、RocksDB等。?
5、樂于挑戰(zhàn)沒有明顯答案的問題,對(duì)新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情。