崗位職責:
1.?設計分布式爬蟲和數據采集系統的架構設計和開發;
2.?負責網絡數據抓取規劃、定期爬取指定網站的數據;
3.?設計爬蟲策略和防屏蔽規則,提升網頁抓取的效率和質量;
4.?實現數據提取、清洗、結構化、入庫、統計分析等需求;
5.?實現數據研究算法的程序化;
6.?團隊主管交代的其他事項。
任職要求:
1.?本科以上學歷,計算機、統計相關專業,兩年以上相關工作經驗,有數據信息類網站爬取經驗優先;
2.?較強的python基礎功底,mysql基礎,熟悉與后臺sql對接;
3.?對數據較為敏感,具備較強的數據分析能力;
4.?對科學計算和可視化(numpy、pandas和matplotlib庫)熟悉者優先;
5.?具備較強的邏輯思維能力、執行能力和團隊精神;
6.?具備較強的溝通表達能力和文檔寫作能力;
7.?具備一定的專研精神,做事仔細、認真、負責;
8.?具有較強的學習能力,愿意學習和研究各類新領域的知識。