工作職責(zé)1、基于Hadoop/Spark分布式集群的架構(gòu)設(shè)計(jì)和開發(fā)。2、負(fù)責(zé)Hadoop數(shù)據(jù)倉庫建設(shè)和SQL相關(guān)開發(fā)工作，以及BI和AI項(xiàng)目的開發(fā)工作；3、負(fù)責(zé)數(shù)據(jù)處理、離線計(jì)算、實(shí)時(shí)計(jì)算功能、性能和擴(kuò)展，解決并實(shí)現(xiàn)業(yè)務(wù)需求；4、不斷解決規(guī)模增長帶來的技術(shù)和業(yè)務(wù)問題，確保大數(shù)據(jù)平臺高效完成公司的數(shù)據(jù)任務(wù)工作。任職資格1、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、人工智能、計(jì)算機(jī)相關(guān)專業(yè)，本科或以上學(xué)歷。2、至少熟練運(yùn)用Java、Scala語言中的1種。3、需要有3年以上基于hadoop/Spark的實(shí)際項(xiàng)目開發(fā)經(jīng)驗(yàn)。4、熟練使用MapReduce、Hive、spark、HDFS、Hbase、Redis、Kafka、presto；5、熟練掌握linux常規(guī)命令與工具，至少熟練應(yīng)用shell、Python腳本語言中的1種。6、敏銳的洞察系統(tǒng)性能瓶頸，并能對io、網(wǎng)絡(luò)通訊、任務(wù)調(diào)度中一個(gè)或多個(gè)方面的性能調(diào)優(yōu)。7、具有較強(qiáng)的學(xué)習(xí)能力、邏輯分析能力、問題排查能力、溝通能力、自我驅(qū)動(dòng)動(dòng)力、自我管理能力。