崗位職責:?1.負責大數據處理平臺的總體技術工作,包括需求分析、架構設計、研發(fā)、以及性能分析工作;?2.負責設計、構建和優(yōu)化基于Hadoop/Hbase的存儲平臺架構;?3.負責整體提升Hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高擴展特性;?4.根據業(yè)務需求,提出最優(yōu)的技術解決方案;分解詳細的開發(fā)任務,能配合其他項目制定開發(fā)計劃、開發(fā)文檔、開發(fā)流程圖;?5.負責帶領項目及培訓團隊,指導技術團隊完成數據規(guī)則的定義、數據模型的建立、數據清洗、數據遷移等工作。?6.負責數據架構的規(guī)劃,并制定實施標準和規(guī)范,確保得到有效的執(zhí)行,同時保障數據以及文檔的質量達到預定的標準。?任職資格:?1.?5年以上軟件開發(fā)經驗,精通Java開發(fā),3年以上Hadoop相關開發(fā)經驗;?2.具備數據庫系統(tǒng)基本理論知識,至少掌握一種主流商業(yè)數據庫產品如Oralce的管理和應用,精通SQL語言,精通存儲過程;?3.對Hadoop的Map/Reduce原理有深入研究,有相關項目的實際開發(fā)經驗;?4.熟悉Hadoop、Hive和hbase、storm等開源項目;?5.對基于Hadoop的大數據處理體系有深入認識,具備相關產品(Hadoop/Storm?/Hive/Hbase)項目應用研發(fā)經驗,熟悉分布式系統(tǒng)、分布式計算系統(tǒng)的工作機制,能熟練掌握相關核心技術的工作機理;具有大規(guī)模數據平臺,高并發(fā)大型系統(tǒng),大數據等架構設計和開發(fā)經驗;?6.熟悉全文檢索技術,如Solr、Lucene等使用;?7.具備數據管理和存儲相關項目和系統(tǒng)的開發(fā)經驗,具有豐富的數據分析、挖掘和數據倉庫建模的項目實踐經驗;?8.具有良好的溝通、組織和領導能力,優(yōu)秀的分析問題和解決問題的能力,對解決具有挑戰(zhàn)性問題充滿激情,具備強烈的進取心和優(yōu)秀團隊合作精神;?9.具有實時數據采集系統(tǒng)項目經驗者優(yōu)先;具有金融行業(yè)大數據應用工作經驗者優(yōu)先。