1、完成公司數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)、工程落地和技術(shù)演進(jìn)。支撐數(shù)據(jù)倉(cāng)庫(kù)、端到端實(shí)時(shí)流式計(jì)算分析、高性能多維分析、報(bào)表中心、自助查詢(xún)分析等需求。
2、主導(dǎo)大數(shù)據(jù)營(yíng)銷(xiāo)分析平臺(tái)的架構(gòu)和工程落地。
3、主導(dǎo)個(gè)性化推薦(內(nèi)容推薦)系統(tǒng)技術(shù)架構(gòu)和工程落地。
4、主導(dǎo)推動(dòng)公司智能和算法能力的建設(shè),支撐TB級(jí)聊天文本、內(nèi)容圖片、視頻等數(shù)據(jù)檢索、分析挖掘及標(biāo)簽化,累計(jì)3000萬(wàn)+次醫(yī)美場(chǎng)景會(huì)話(huà)咨詢(xún)聊天。
崗位要求:
1、精通CDH、HDP等Hadoop生態(tài)系統(tǒng)發(fā)行版,進(jìn)行平臺(tái)的安裝、部署、維護(hù)。
2、熟悉阿里云大數(shù)據(jù)生態(tài),熟練使用E-MapReduce、MaxCompute、實(shí)時(shí)計(jì)算(Flink)、數(shù)據(jù)集成、日志服務(wù)、DataV、QuickBI等等。
3、精通Hadoop、Hive、Hbase、kafka、Spark、Flink、Flume、Sqoop、Ozzie、Tez、Hue、Azkanban、DataX、Kylin、Druid、ES、Superset等大數(shù)據(jù)組件的使用和調(diào)優(yōu)。
4、深刻理解大數(shù)據(jù)平臺(tái)安全機(jī)制、熟練使用Kerberos、Ranger以及血緣分析組件Atlas。
5、需要有用戶(hù)標(biāo)簽、畫(huà)像、個(gè)性化推薦等系統(tǒng)的工程經(jīng)驗(yàn),有過(guò)數(shù)據(jù)治理相關(guān)經(jīng)驗(yàn)優(yōu)先。