1、負(fù)責(zé)公司大數(shù)據(jù)整體方案的設(shè)計和規(guī)劃,包括大數(shù)據(jù)應(yīng)用平臺的設(shè)計、搭建和持續(xù)優(yōu)化;
2、參與計算框架和服務(wù)的定制和改進,為公司在線實時計算能力提供技術(shù)支撐;
3、基于業(yè)務(wù)需求和應(yīng)用場景,設(shè)計和實現(xiàn)公司大數(shù)據(jù)相關(guān)產(chǎn)品;
4、負(fù)責(zé)設(shè)計,開發(fā),優(yōu)化數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)計算服務(wù)框架;
5、負(fù)責(zé)優(yōu)化分布式框架,解決大并發(fā)下的各種問題;
6、為公司所有業(yè)務(wù)線提供數(shù)據(jù)支持和服務(wù);
7、參與大數(shù)據(jù)應(yīng)用相關(guān)解決方案的設(shè)計,并負(fù)責(zé)技術(shù)方案的撰寫;
8、負(fù)責(zé)對公司數(shù)據(jù)倉庫進行規(guī)劃和管理;
9、根據(jù)公司要求對相關(guān)數(shù)據(jù)進行分析、挖掘和報告呈現(xiàn);
10、積極探索與研究大數(shù)據(jù)相關(guān)新技術(shù),持續(xù)改進大數(shù)據(jù)分析系統(tǒng)架構(gòu);
11、完成公司及部門領(lǐng)導(dǎo)安排的其他工作事務(wù)。
任職要求:
?1、具有5年以上Java開發(fā)經(jīng)驗,具備3年以上大數(shù)據(jù)開發(fā)經(jīng)驗;
?2、能獨立搭建CDH、Ambari平臺,并運用平臺進行服務(wù)安裝、部署和監(jiān)控;能夠解決安裝部署和監(jiān)控中發(fā)現(xiàn)的問題,維護過上百個物理節(jié)點;
?3、熟悉Linux系統(tǒng)和windows系統(tǒng),掌握Oracle、MYSQL等主流數(shù)據(jù)庫,?能夠熟練運用SQL語言;
?4、精通TCP技術(shù),能夠熟練應(yīng)用Netty等框架完成項目開發(fā),并能夠排除問題;
?5、具備Hadoop/Hbase/Hive/Spark/Sqoop/Flume/Kafka/Storm/Zookeeper/Redis/SeaweedFS等大規(guī)模(100臺以上)集群運維經(jīng)驗者優(yōu)先;
?6、熟練掌握Hadoop、Kafka、Zookeeper、Storm、Spark、Hbase、Hive、ElasticSearch等大數(shù)據(jù)開發(fā)技術(shù)和調(diào)優(yōu);
?7、能夠獨立解決大數(shù)據(jù)數(shù)據(jù)平臺存在的問題;.能夠獨立解決大數(shù)據(jù)數(shù)據(jù)平臺存在的問題;
?8、規(guī)范化的編程風(fēng)格,較強的獨立工作能力和團隊協(xié)作精神;?
?9、具備重大及疑難故障的處理能力,保證故障和業(yè)務(wù)的快速恢復(fù);
?10、具有較強的溝通表達能力,具有較強的責(zé)任心和安全保密意識;?
?11、具有一定的寫作能力,能獨立完成相應(yīng)制度、方案和報告的撰寫。