1.數(shù)據(jù)處理平臺優(yōu)化
1.1.文件導(dǎo)入優(yōu)化：非重要系統(tǒng)改Sqoop抽數(shù)，減少數(shù)據(jù)落地。
1.2.文件導(dǎo)出優(yōu)化：集成袋鼠云，重點實現(xiàn)庫對庫配置化導(dǎo)出。
2.批量集群監(jiān)控
2.1.作業(yè)報警細化：抓取更多信息，在藍信通知的基礎(chǔ)上添加詳情郵件通知，并按系統(tǒng)分發(fā)給負責(zé)人。
2.2.作業(yè)日志采集細化：留存更多跑批信息，如資源使用、執(zhí)行計劃等，并與告警功能結(jié)合，用于后續(xù)SQL調(diào)優(yōu)。
3.實時集群優(yōu)化。
3.1.Kafka分布優(yōu)化：添加更多工作節(jié)點，釋放管理節(jié)點資源。
3.2.新增組件HA配置：提升集群運行穩(wěn)定性。
3.3.Solr性能優(yōu)化：監(jiān)控資源情況，保障Solr應(yīng)用穩(wěn)定。
任職要求：
1、本科及以上學(xué)歷，2年以上IT工作經(jīng)驗，3年以上大數(shù)據(jù)工作經(jīng)驗；
2、熟悉CDH大數(shù)據(jù)平臺運維體系，熟悉平臺安裝部署和平臺優(yōu)化；
3、熟悉Hadoop生態(tài)技術(shù)，熟悉HDFS、Yarn、Zookeeper、Hive、Impala、HBase、Spark、Kafka、Sqoop、Solr、ES等組件開發(fā)和調(diào)優(yōu)；
4、熟悉Java、Scala、Shell、Python等開發(fā)語言之一，精通HQL；
5、具備良好的團隊意識、溝通能力和學(xué)習(xí)能力。
