1、負責大數(shù)據(jù)平臺的基礎技術規(guī)劃,編制相關規(guī)范文檔;
2、負責大數(shù)據(jù)平臺的數(shù)據(jù)采集、處理、存儲以及挖掘分析的架構實現(xiàn);
3、負責大數(shù)據(jù)平臺的實際規(guī)劃建設,包括環(huán)境和框架的規(guī)劃搭建以及核心編碼工作;
4、負責大數(shù)據(jù)相關技術發(fā)展方向的預研;
5、參與業(yè)務需求調(diào)研,根據(jù)需求及行業(yè)特點設計大數(shù)據(jù)解決方案并跟進具體實施項目;
6、制定大數(shù)據(jù)平臺中數(shù)據(jù)質(zhì)量、業(yè)務質(zhì)量監(jiān)控及管理方案。
要求:
1、5年以上工作經(jīng)驗,2年以上大數(shù)據(jù)架構設計經(jīng)驗,熟悉大數(shù)據(jù)解決方案包括Hadoop、Spark、Storm、機器學習、深度學習等大數(shù)據(jù)解決方案;
2、深刻理解大數(shù)據(jù)處理流計算、分布式計算、分布式文件系統(tǒng)、分布式存儲等相關技術和實現(xiàn)方法,有架構和設計實踐經(jīng)驗;
3、熟悉Oracle/?Redis等主流數(shù)據(jù)庫實操和優(yōu)化技術;?
4、精通java開發(fā)語言,熟悉容器、虛擬化、微服務框架等相關技術;
5、對數(shù)據(jù)敏感,有嚴謹?shù)墓ぷ魉悸罚己玫臏贤芰?,和團隊合作精神;
6、高擴展性、高性能和分布式系統(tǒng)的實踐及運維經(jīng)驗者優(yōu)先;
7、有大型數(shù)據(jù)倉庫實施、大數(shù)據(jù)平臺數(shù)據(jù)開發(fā)經(jīng)驗者優(yōu)先。