崗位職責(zé):1、負(fù)責(zé)大數(shù)據(jù)分析使用的數(shù)據(jù)的搜集和整理;2、對(duì)數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換,生成需要的數(shù)據(jù)格式;3、參與對(duì)數(shù)據(jù)的清洗和分析工作。任職要求:1、掌握java語(yǔ)言,要求熟悉shell、scala、Python中的一種以上語(yǔ)言;2、熟悉Linux常用的命令,有Linux系統(tǒng)下開(kāi)發(fā)的經(jīng)驗(yàn);3、能夠安裝和使用常用的關(guān)系和非關(guān)系數(shù)據(jù)庫(kù),例如:MySQL、Oracle、MongoDB、Cassandra、Redis等兩項(xiàng)以上;4、有數(shù)據(jù)搜集和分析的經(jīng)驗(yàn)優(yōu)先;5、熟悉和使用過(guò)如下技術(shù)的優(yōu)先:spark,Hadoop、Hive、Hbase、Map/Reduce,elasticsearch,kafka(或其他消息隊(duì)列開(kāi)源軟件);6、有如下數(shù)據(jù)挖掘算法經(jīng)驗(yàn)的優(yōu)先:決策樹(shù)、樸素貝葉斯、SVM、推薦引擎、分類、聚類;7、精通或熟悉設(shè)計(jì)模式、統(tǒng)一建模語(yǔ)言(UML)、數(shù)據(jù)結(jié)構(gòu)的優(yōu)先;8、有自然語(yǔ)言處理、中文分詞經(jīng)驗(yàn)的優(yōu)先。