崗位職責(zé)：
1、設(shè)計(jì)和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，對(duì)接三方平臺(tái) API 以及進(jìn)行網(wǎng)頁(yè)數(shù)據(jù)爬取。
2、參與數(shù)據(jù)平臺(tái)的搭建，優(yōu)化數(shù)據(jù)處理流程；
3、搭建系統(tǒng)開發(fā)環(huán)境，完成系統(tǒng)框架與核心代碼開發(fā)；
4、參與搭建內(nèi)部數(shù)據(jù)倉(cāng)庫(kù)，定義并開發(fā)業(yè)務(wù)核心指標(biāo)數(shù)據(jù)。
任職要求：
1、大學(xué)本科學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，熟悉 python 語(yǔ)言服務(wù)端開發(fā)，3 年以上開發(fā)經(jīng)驗(yàn)，有數(shù)據(jù)爬蟲開發(fā)經(jīng)驗(yàn)；
2、熟悉 Flask，Django 等常見 Web 框架；
3、熟悉 MySQL、NoSQL 等常見數(shù)據(jù)庫(kù)；
4、熟悉常見存儲(chǔ)引擎的原理、特點(diǎn)以及主從復(fù)制原理和實(shí)踐；
5、具有良好的編程思想、溝通、團(tuán)隊(duì)合作精神、優(yōu)秀的分析問(wèn)題和解決問(wèn)題的能力；
6、有 Hive,Spark 等大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)者優(yōu)先。
