1、負責基于Hadoop/Spark等生態(tài)系統(tǒng)的大數(shù)據(jù)平臺的架構(gòu)設(shè)計、技術(shù)選型、搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu)，保證集群高效穩(wěn)定運行，對數(shù)據(jù)應(yīng)用提供數(shù)據(jù)存儲、查詢引擎、實時計算、元數(shù)據(jù)管理的架構(gòu)設(shè)計；
2、系統(tǒng)核心部分代碼編寫、指導(dǎo)和培訓(xùn)工程師、不斷進行系統(tǒng)優(yōu)化；
3、負責項目中數(shù)據(jù)準備、模型建立、模型跟蹤、模型優(yōu)化、模型維護、部署和評估等閉環(huán)流程，為產(chǎn)品優(yōu)化及業(yè)務(wù)決策提供分析支撐及技術(shù)支持；
4、打造有行業(yè)競爭力的系統(tǒng)，能夠支撐快速發(fā)展的數(shù)據(jù)業(yè)務(wù)。
任職要求：
1、3年或以上的大數(shù)據(jù)從業(yè)經(jīng)驗，5年以上數(shù)據(jù)挖掘相關(guān)經(jīng)驗，具備扎實豐富的大規(guī)模數(shù)據(jù)分析建模工作經(jīng)驗，參與過有大規(guī)模分布式數(shù)據(jù)存儲與計算開發(fā)，具備一線互聯(lián)網(wǎng)公司背景優(yōu)先；
2、有大型分布式系統(tǒng)設(shè)計經(jīng)驗，負責過海量數(shù)據(jù)平臺上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計；
3、精通CDH，精通Hadoop/Spark技術(shù)體系，熟練掌握Mysql/Mongodb/Hive/Hbase/Kafka/ES等主流數(shù)據(jù)庫系統(tǒng)，熟練AIRFLOW等調(diào)度工具,熟練使用Java、Python編程語言；
4、能夠熟練使用java、Python等編程語言，對大數(shù)據(jù)基礎(chǔ)架構(gòu)和平臺底層原理有深度理解和豐富開發(fā)經(jīng)驗,對復(fù)雜系統(tǒng)的性能優(yōu)化和穩(wěn)定性提升有一線實戰(zhàn)經(jīng)驗；
5、可以快速理解和適應(yīng)相關(guān)業(yè)務(wù)，有良好的數(shù)據(jù)敏感度和自驅(qū)力，善于捕捉業(yè)務(wù)需求、架構(gòu)設(shè)計存在的問題，并給出有效的解決措施和方法。