Python開發(fā)工程師26-34萬
發(fā)布人：
高邦獵頭 發(fā)布時間:2020-11-09
公司名稱：上海某知名游戲公司
工作地點：上海
崗位職責：
1、負責相關網(wǎng)站、論壇的爬蟲設計和開發(fā)，以及策略持續(xù)優(yōu)化；
2、分析結構化和非結構化數(shù)據(jù)，并對數(shù)據(jù)抓取、信息提取、去重、清洗；
3、解決反爬疑難問題，設計及優(yōu)化爬蟲系統(tǒng)等。
任職要求：
1、本科及以上學歷，計算機軟件或相關專業(yè)，三年及以上python開發(fā)經(jīng)驗；
2、掌握網(wǎng)絡爬蟲開發(fā)原理，熟悉互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式；
3、掌握HTML，JS，精通JS逆向，精通常見的反爬蟲技術如文本混淆反爬蟲、驗證碼等；
4、精通一種爬蟲框架，對分布式爬蟲、海量數(shù)據(jù)采集有深刻的理解；
5、熟練掌握正則表達式、XPath等信息抽取技術；
6、有通用網(wǎng)站和論壇爬取及解析的經(jīng)驗如Readability、Newspaper等。
