任職資格:
1、計算機及其相關(guān)專業(yè),大專及以上學歷。兩年以上大數(shù)據(jù)應(yīng)用經(jīng)驗;
2、具備實時處理框架的設(shè)計和開發(fā)能力,熟練掌握Storm、Spark?streaming等大數(shù)據(jù)實時處理框架中的一種;
3、熟悉Spark?、R、Hadoop、Hbase、Hive、Elastic?Search/Solr等相關(guān)技術(shù);
4、熟悉Scala、熟悉Linux開發(fā)環(huán)境,能進行shell腳本的編寫;
5、具有較強的邏輯分析能力,高度的責任心及團隊合作精神;
6、具有實際大數(shù)據(jù)項目的成功經(jīng)驗者優(yōu)先考慮。
崗位職責:
1、負責異構(gòu)數(shù)據(jù)系統(tǒng)和大數(shù)據(jù)平臺的集成與融合;
2、負責數(shù)據(jù)挖掘算法的設(shè)計及對海量數(shù)據(jù)進行挖掘分析;
3、負責分布式數(shù)據(jù)倉庫平臺、海量數(shù)據(jù)批處理平臺、實時數(shù)據(jù)處理平臺等系統(tǒng)開發(fā);
4、參與海量數(shù)據(jù)處理,業(yè)務(wù)數(shù)據(jù)體系的設(shè)計、數(shù)據(jù)統(tǒng)計、分析及數(shù)據(jù)建模;
5、參與數(shù)據(jù)平臺各系統(tǒng)的性能分析與系統(tǒng)優(yōu)化,不斷提高系統(tǒng)運行效率;
6、完成領(lǐng)導交辦的其他任務(wù)。