爬蟲工程師
崗位職責：
1、負責數(shù)據(jù)抓取平臺規(guī)劃和建設，完成數(shù)據(jù)采集與爬取、解析處理和入庫；
2、研究各種網(wǎng)頁探尋特點和規(guī)律，負責網(wǎng)頁信息抽取、數(shù)據(jù)清洗工作；
3、負責領域知識的定向爬取、深度提取和挖掘；
4、配合數(shù)據(jù)清洗、整理、去重和合并工作；
5、負責爬蟲相關技術的創(chuàng)新和優(yōu)化。
任職要求：
1、計算機相關專業(yè)，本科以上學歷，2年以上爬蟲領域工作經(jīng)驗。
2、熟悉Python開發(fā)，熟悉wxpython，熟悉抓取框架，有完整的界面化爬蟲平臺開發(fā)經(jīng)驗；
3、熟悉Web抓取原理及技術實現(xiàn)細節(jié)，對HTTP協(xié)議和HTML有深入了解；
4、熟悉數(shù)據(jù)抓取和整合技術，從結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中提取信息；
5、熟悉反爬機制，能夠通過逆向js腳本，獲取參數(shù)，熟悉使用正則表達式/驗證碼加密處理/代理池，熟悉行為驗證碼識別、模擬登陸。
