工作職責:
1、負責爬蟲組的團隊管理、技術研究及實施,解決用戶痛點,打造技術強大的爬蟲團隊;
2、負責爬蟲系統(tǒng)的技術架構設計與核心功能開發(fā);
3、負責爬蟲核心算法的策略優(yōu)化研究,充分利用資源,避免限制;
4、指導團隊產品開發(fā)和技術研究工作,解決各類技術疑難問題;
5、有良好的成本意識,對產品性能有比較高的追求,好的大局觀。注重個人成長,有良好的學習能力。
崗位要求:
1、??萍耙陨蠈W歷,5年以上爬蟲工作經驗并有高并發(fā)大量采集項目經驗;年齡30歲以上;
2、有較強的責任心、溝通協(xié)調能力,工作主動積極;
3、熟練Python編程語言,掌握反爬技術,圖片識別碼,滑動塊識驗碼等技術;
4、熟悉Scrapy、Django、Flask等框架;
5、熟悉關系型數據庫(MySQL/PostgreSQL/Oracle),緩存數據庫(Redis/Memcached);
6、精通一種開源爬蟲框架,如scrapy、webmagic、nutch、heritrix等,有開發(fā)爬蟲框架、構建過分布式爬蟲系統(tǒng)者優(yōu)先;
7、有APP、微信、小程序爬取工作經驗優(yōu)先。
8、應屆生勿擾。