職責(zé)描述:
1、負(fù)責(zé)數(shù)據(jù)采集系統(tǒng)的技術(shù)架構(gòu)設(shè)計與核心功能開發(fā);產(chǎn)品開發(fā)和技術(shù)研究工作,解決各類技術(shù)疑難問題;
2、負(fù)責(zé)核心算法的策略優(yōu)化研究,充分利用資源,避免限制;
3、有良好的成本意識,對產(chǎn)品性能有比較高的追求,好的大局觀,有良好的學(xué)習(xí)能力。
任職要求:
1、有3年以上爬蟲工作經(jīng)驗并有高并發(fā)大量采集項目經(jīng)驗優(yōu)先考慮;
2、有較強(qiáng)的責(zé)任心、溝通協(xié)調(diào)能力,工作主動積極;
3、熟練Python編程語言,掌握反爬技術(shù),圖片識別碼,滑動塊識驗碼等技術(shù)優(yōu)先考慮;
4、熟悉Scrapy,Django,F(xiàn)lask, Tornado等至少一種框架;
5、熟悉關(guān)系型數(shù)據(jù)庫(MySQL/PostgreSQL/Oracle),緩存數(shù)據(jù)庫(Redis/Memcached)優(yōu)先考慮;
6、精通一種開源爬蟲框架,如scrapy等,有開發(fā)爬蟲框架、構(gòu)建過分布式爬蟲系統(tǒng)者優(yōu)先;
7、有獨(dú)立項目(前后臺)開發(fā)經(jīng)驗優(yōu)先;
8、能力突出可以帶Python團(tuán)隊。