名數(shù)據(jù)特征工程師/數(shù)據(jù)開發(fā)工程師面議
發(fā)布人:
高邦獵頭 發(fā)布時間:2023-03-10
公司名稱:某IT公司
工作地點:廈門
任職資格:
1、熟悉SQL的編寫
2、精通Spark streaming并有大型項目經驗,熟悉Spark架構及內部實現(xiàn),至少了解Spark shuffle機制,內存管理,任務調度, 有二次開發(fā)經驗尤佳
3、熟悉 Scala, Python語言及parquet文件存儲格式
4、熟悉流處理中常用算法和數(shù)據(jù)結構
5、3年以上相關工作經驗
6、良好的溝通能力和學習能力,能獨立解決問題
7、有R, Julia語言或者Flink 項目經驗尤佳
加分項:
● 有時間序列,圖形數(shù)據(jù)庫經驗優(yōu)先
崗位要求
1、負責實時指標的加工及算法實現(xiàn)
2、主動從各種數(shù)據(jù)集中發(fā)現(xiàn)有價值的指標并加以實現(xiàn)
3、根據(jù)業(yè)務需求能夠快速設計和實現(xiàn)合理的短期、中期、長期解決方案:
4、 負責數(shù)據(jù)結構及算法的設計和實現(xiàn)
5、用戶畫像:如同一家庭用戶的識別,去重
6、地理位置數(shù)據(jù)相關指標的實時采集、分析、加工
7、H3 Geo Hex Cluster metrics
8、其他數(shù)據(jù)分析挖掘模型算法的設計實施
9、流計算框架
10、開發(fā)基于Spark, Kafka ,HDInsight的大數(shù)據(jù)項目系統(tǒng)
11、研究Flink, Dataflow, Materialize等.
12、協(xié)助 Data scientist實現(xiàn)ML模型
13、編寫相關文檔等