工作職責(zé):
1、負(fù)責(zé)爬蟲組的團(tuán)隊(duì)管理、技術(shù)研究及實(shí)施,解決用戶痛點(diǎn),打造技術(shù)強(qiáng)大的爬蟲團(tuán)隊(duì);
2、負(fù)責(zé)爬蟲系統(tǒng)的技術(shù)架構(gòu)設(shè)計(jì)與核心功能開發(fā);
3、負(fù)責(zé)爬蟲核心算法的策略優(yōu)化研究,充分利用資源,避免限制;
4、指導(dǎo)團(tuán)隊(duì)產(chǎn)品開發(fā)和技術(shù)研究工作,解決各類技術(shù)疑難問題;
5、有良好的成本意識(shí),對(duì)產(chǎn)品性能有比較高的追求,好的大局觀。注重個(gè)人成長,有良好的學(xué)習(xí)能力。
崗位要求:
1、??萍耙陨蠈W(xué)歷,5年以上爬蟲工作經(jīng)驗(yàn)并有高并發(fā)大量采集項(xiàng)目經(jīng)驗(yàn);年齡30歲以上;
2、有較強(qiáng)的責(zé)任心、溝通協(xié)調(diào)能力,工作主動(dòng)積極;
3、熟練Python編程語言,掌握反爬技術(shù),圖片識(shí)別碼,滑動(dòng)塊識(shí)驗(yàn)碼等技術(shù);
4、熟悉Scrapy、Django、Flask等框架;
5、熟悉關(guān)系型數(shù)據(jù)庫(MySQL/PostgreSQL/Oracle),緩存數(shù)據(jù)庫(Redis/Memcached);
6、精通一種開源爬蟲框架,如scrapy、webmagic、nutch、heritrix等,有開發(fā)爬蟲框架、構(gòu)建過分布式爬蟲系統(tǒng)者優(yōu)先;
7、有APP、微信、小程序爬取工作經(jīng)驗(yàn)優(yōu)先。
8、應(yīng)屆生勿擾。