崗位職責(zé):
1、負(fù)責(zé)和參與公司大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)的建設(shè),保障數(shù)據(jù)平臺(tái)服務(wù)的穩(wěn)定性和可用性;?
2、對(duì)接車(chē)行、人行上游系統(tǒng),實(shí)現(xiàn)數(shù)據(jù)集成,產(chǎn)出全量、增量和實(shí)時(shí)數(shù)據(jù);
3.?負(fù)責(zé)基于Hadoop、Spark平臺(tái)的海量數(shù)據(jù)處理、數(shù)據(jù)計(jì)算、數(shù)據(jù)開(kāi)發(fā);
4.?負(fù)責(zé)高并發(fā)、高可用性、高可擴(kuò)展性的線上數(shù)據(jù)系統(tǒng)開(kāi)發(fā);
5.?負(fù)責(zé)智能業(yè)務(wù)大數(shù)據(jù)需求分析以及業(yè)務(wù)模型梳理等工作;
6.?跟蹤和調(diào)研大數(shù)據(jù)處理和分析的新技術(shù),推動(dòng)大數(shù)據(jù)平臺(tái)技術(shù)持續(xù)演進(jìn);
任職資格:
1、計(jì)算機(jī)及相關(guān)專(zhuān)業(yè),本科及以上學(xué)歷
2、五年以上大數(shù)據(jù)平臺(tái)架構(gòu)及ETL相關(guān)經(jīng)驗(yàn),可獨(dú)立搭建/運(yùn)維CDH/Spark/flink整套平臺(tái)架構(gòu);
3、精通SQL,熟練使用hive?,mysql等數(shù)據(jù)庫(kù);
4、精通Python/Java/Scala/Shell等語(yǔ)言中兩種以上
5、熟悉Spark/Hadoop/Hive/Flink/Hbase/ZK/YARN等三種以上開(kāi)源框架的原理和源碼;
6、有市場(chǎng)上成熟的大數(shù)據(jù)平臺(tái)產(chǎn)品實(shí)際架構(gòu)/開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先。
7、熟悉神經(jīng)網(wǎng)絡(luò)理論,掌握算法(如線性和邏輯回歸、決策樹(shù)、隨機(jī)森林、支持向量機(jī)、圖形模型、神經(jīng)網(wǎng)絡(luò)、異常檢測(cè)等)等優(yōu)先考慮。
8.?有特征工程、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、推薦系統(tǒng)經(jīng)驗(yàn)者優(yōu)先;