負責大數(shù)據(jù)平臺的研制和維護性開發(fā)，提供數(shù)據(jù)應(yīng)用項目技術(shù)支持，參與數(shù)據(jù)應(yīng)用類項目。
1、負責公司的大數(shù)據(jù)處理框架，產(chǎn)品的研發(fā)設(shè)計工作；根據(jù)項目要求編寫相關(guān)技術(shù)文檔；
2、負責大數(shù)據(jù)平臺的架構(gòu)評審，代碼評審，上線評審；參與數(shù)據(jù)應(yīng)用需求、設(shè)計、審核和評審；
3、負責核心模塊研發(fā)，負責大數(shù)據(jù)平臺的搭建，完成系統(tǒng)調(diào)試、集成與實施；
4、負責建立和維護大數(shù)據(jù)平臺技術(shù)標準規(guī)范，指導(dǎo)開發(fā)人員編寫代碼；
5、配合產(chǎn)品經(jīng)理與項目經(jīng)理規(guī)劃設(shè)計與實施大數(shù)據(jù)應(yīng)用。
1、本科及以上計算機、數(shù)學(xué)相關(guān)專業(yè)畢業(yè)；具有3年以上相關(guān)工作經(jīng)驗；
2、熟悉離線數(shù)據(jù)處理流程，掌握離線數(shù)據(jù)處理框架hive、impala、spark-sql等一種或多種，了解實時數(shù)據(jù)處理常用技術(shù)工具，包括Storm、SparkStreaming等；
3、熟悉大數(shù)據(jù)技術(shù)生態(tài)圈，精通大數(shù)據(jù)技術(shù)架構(gòu)，有大數(shù)據(jù)平臺構(gòu)建經(jīng)驗，有大規(guī)模數(shù)據(jù)（TB級以上）處理經(jīng)驗；
4、掌握常見數(shù)據(jù)流接入工具，包括Flume、kafka、sqoop等；
5、熟練掌握基本的Linux操作系統(tǒng)和某種腳本語言編程（如Shell等）；
6、掌握一種或以上編程語言，如Java、Python等；
7、熟悉大數(shù)據(jù)相關(guān)數(shù)據(jù)庫，熟悉Hbase、hive，了解ElasticSearch、Codis等；
8、對分布式計算原理有較深的理解，熟悉MapReduce編程；
9、工程代碼能力強，能讀懂開源代碼，有攻關(guān)能力；
10、熟悉數(shù)據(jù)倉庫理論，有相關(guān)設(shè)計經(jīng)驗的優(yōu)先。