1、?主導(dǎo)公司所需的爬蟲系統(tǒng)架構(gòu)設(shè)計(jì)和開發(fā)工作
2、負(fù)責(zé)整個(gè)主題爬蟲系統(tǒng)架構(gòu)和數(shù)據(jù)存儲(chǔ)設(shè)計(jì)，應(yīng)對(duì)各種互聯(lián)網(wǎng)爬蟲規(guī)則
3、?對(duì)各網(wǎng)站內(nèi)容的爬取以及爬蟲的維護(hù)
4、?參與大數(shù)據(jù)搜索、統(tǒng)計(jì)分析系統(tǒng)開發(fā)
5、各大社交媒體、直播平臺(tái)網(wǎng)紅的動(dòng)態(tài)粉絲數(shù)，圖片，以及其他信息的抓取
6?、負(fù)責(zé)核心爬蟲系統(tǒng)設(shè)計(jì)、數(shù)據(jù)庫設(shè)計(jì)與實(shí)現(xiàn)?
7?、設(shè)計(jì)策略和算法，提升網(wǎng)頁抓取的效率和質(zhì)量
8?、分析爬蟲系統(tǒng)的技術(shù)缺陷，對(duì)策略架構(gòu)做出合理地調(diào)整和改進(jìn)?
崗位要求：
1、有小紅書、抖音等社交APP數(shù)據(jù)抓取，爬蟲開發(fā)經(jīng)驗(yàn)者，優(yōu)先考慮；
2、3?年及以上?Python?爬蟲經(jīng)驗(yàn)，扎實(shí)的編程功底，良好的編碼風(fēng)格及編碼能力?
3、熟悉常用的信息抓取策略和數(shù)據(jù)重組算法?
4、?熟悉爬蟲系統(tǒng)整個(gè)生命周期的設(shè)計(jì)及實(shí)現(xiàn)，有負(fù)責(zé)核心框架建設(shè)和技術(shù)攻關(guān)能力