崗位職責(zé)???
1.構(gòu)建分布式和高度并行的大數(shù)據(jù)接收和處理管道，近實時處理大量數(shù)據(jù)（結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）；
2.評估和部署數(shù)據(jù)質(zhì)量框架，以衡量和改進(jìn)組織中的數(shù)據(jù)質(zhì)量；
3.與數(shù)據(jù)管理員.生產(chǎn)商和消費者合作，設(shè)計適當(dāng)?shù)臄?shù)據(jù)管道；
4.在可能的情況下實現(xiàn)流程自動化，并具有可重復(fù)性和可靠性；
5.與現(xiàn)場可靠性工程師和產(chǎn)品經(jīng)理密切合作，在持續(xù)交付環(huán)境中交付軟件。
資格：
1.在數(shù)據(jù)工程方面有豐富的經(jīng)驗（3年以上）并且能解決相關(guān)難題；
2.能使用scala或python編寫生產(chǎn)代碼，并對最新的數(shù)據(jù)技術(shù)有濃厚的興趣。
具備：
1.數(shù)據(jù)驅(qū)動思維；
2.集裝箱技術(shù)經(jīng)驗（Openshift.Docker或K8S）；
3.以交付為中心，具有強(qiáng)大的產(chǎn)品意識；
4.在AWS或GCP上設(shè)計和實施數(shù)據(jù)基礎(chǔ)設(shè)施的知識；
5.優(yōu)秀的溝通技能和跨職能團(tuán)隊工作經(jīng)驗；
6.在Apache?Spark和Nifi方面的經(jīng)驗；
7.內(nèi)存數(shù)據(jù)處理經(jīng)驗；
8.在實施加密和匿名等數(shù)據(jù)安全功能方面的經(jīng)驗；
9.金融服務(wù)業(yè)的堅實基礎(chǔ)；
10.扎實的SQL知識；
11.了解統(tǒng)計模型、機(jī)器學(xué)習(xí)、圖形分析。
