崗位職責：
1. 負責移動客戶端數(shù)據(jù)采集、識別與正確解析。
2. 負責移動端爬蟲架構設計（包括基礎資源，如移動設備群集技術、代理池技術、反反爬技術、移動設備群控技術等等）與核心技術研發(fā)。
3. 負責移動端數(shù)據(jù)的特征挖掘，主要對移動設備數(shù)據(jù)請求協(xié)議、移動端交互數(shù)據(jù)、資源變化趨勢等進行數(shù)據(jù)抓取、分析和特征建模。
4. 設計策略和算法，提升數(shù)據(jù)抓取的效率和質量，進一步解決系統(tǒng)的網(wǎng)頁排重、垃圾控制、資源劃分等問題 。
5. 分析爬蟲系統(tǒng)的技術缺陷，對策略架構做出合理地調整和改進。
任職要求：
1. 精通Java/C++/Python語言編程，熟悉linux平臺開發(fā)與部署。
2. 熟悉HTTP、XML、JSON、SOAP、tcp/ip、網(wǎng)絡代理等網(wǎng)絡協(xié)議。
3. 熟悉APK反編譯、IDA、Android Studio等常用客戶端逆向分析工具，熟悉客戶端動態(tài)調試技術。
4. 熟悉常見的移動端反爬機制及對應的應對措施，如ua、cookie識別。
5. 精通隊列通信、分布式、多線程開發(fā)技術。
6. 有較強的數(shù)據(jù)分析與建模能力。
7. 有開源網(wǎng)頁爬蟲開發(fā)經驗者優(yōu)先。
