崗位職責：
1. 參與開發(fā)和優(yōu)化分布式爬蟲系統(tǒng)；
2. 實時監(jiān)控爬蟲的進度和預警處理；
3. 負責持續(xù)跟蹤分析爬蟲系統(tǒng)的技術缺陷，對策略架構做出合理地調整和改進，提升公司相關產品與服務的競爭力。
任職要求：
1. 熟練使用python/java語言，進程、線程；
2. 熟練使用 mongo,redis,mysql 等數(shù)據庫；
3. 熟練使用常見爬蟲框架(xpath/scrapy/scrapy-redis/pyspider等；
4. 能處理常見反扒問題能力(代理/app抓包/web反扒)；
4. 有較好的邏輯思維及良好的代碼習慣；
5. 掌握基本數(shù)據結構和算法，能夠靈活使用編程技巧和設計模式等相關知識；
6. 具備爬蟲程序架構設計能力、模塊化設計能力；
7. 有使用過 kafka/docker/ES等技術者優(yōu)先；
8. 有分布式爬蟲系統(tǒng)設計、工程化和運維經驗者優(yōu)先；
9. 有兩年及以上爬蟲經驗。
