大數(shù)據(jù)架構(gòu)師32-38萬
發(fā)布人:
高邦獵頭 發(fā)布時間:2020-11-13
公司名稱:長沙某網(wǎng)絡科技公司
工作地點:長沙
崗位職責:
1. 參與規(guī)劃和實施公司數(shù)據(jù)平臺的搭建以滿足未來1-2年的數(shù)據(jù)分析要求;
2. 參與公司CDP平臺的整體數(shù)據(jù)架構(gòu)設(shè)計,完成從業(yè)務模型到數(shù)據(jù)模型的設(shè)計工作 ;
3. 負責基于Spark的數(shù)據(jù)平臺研發(fā)工作(包擴離線計算,數(shù)據(jù)倉庫存儲和處理等);
4. 對業(yè)務開發(fā)團隊提供技術(shù)支持,協(xié)助方案規(guī)劃;
5. 維持線上服務高效穩(wěn)定,支撐業(yè)務和數(shù)據(jù)量的快速擴張。
崗位要求:
1. 有java開發(fā)基礎(chǔ),熟悉Spark相關(guān)技術(shù),至少有3年以上的大數(shù)據(jù)開發(fā)經(jīng)驗(有過帶教經(jīng)驗優(yōu)先考慮,本崗往Leader方向培養(yǎng));
2. 熟悉流式計算平臺的搭建,例如使用Flink / Spark Streaming和kafka結(jié)合的實時數(shù)據(jù)處理系統(tǒng),實現(xiàn)數(shù)據(jù)實時大屏;
3. 理解離線和實時數(shù)據(jù)倉庫的治理方法和分層邏輯;
4. 熟悉Scala語言,對Scala原理、底層技術(shù)有深入研究者優(yōu)先;
5. 深入理解MapReduce工作原理,HDFS分布式文件系統(tǒng)架構(gòu);
6. 熟練掌握Hadoop/Hive/HBASE的運維和調(diào)優(yōu)方法;
6. 熟悉mysql, ElasticSearch, Redis等關(guān)系型或NoSQL數(shù)據(jù)庫,了解應用場景和使用限制,有實際調(diào)優(yōu)經(jīng)驗者更佳;
7. 熟悉Linux/Unix操作系統(tǒng),會寫Shell,會使用Git;
8. 了解大數(shù)據(jù)組件的使用限制和應用場景,包括但不僅限于: hdfs, yarn, hbase, hive, flume, kafka, zookeeper, kylin, kudu, ElasticSearch, Storm, MongoDB等;
9. 了解掌握TensorFlow者優(yōu)先;
10. 熟練的英文技術(shù)文檔閱讀能力