技術(shù)要求：精通Python及Scrapy框架，熟悉反爬機(jī)制，如IP代理池、User-Agent輪換、驗(yàn)證碼破解；熟悉分布式爬蟲架構(gòu)Scrapy-Redis，能處理千萬級數(shù)據(jù)量；掌握數(shù)據(jù)清洗與存儲技術(shù)，包括MySQL、MongoDB、Elasticsearch；了解法律邊界，規(guī)避《反不正當(dāng)競爭法》中數(shù)據(jù)抓取風(fēng)險。 項(xiàng)目經(jīng)驗(yàn)要求：有社交平臺（微博/抖音）數(shù)據(jù)抓取經(jīng)驗(yàn)優(yōu)先；曾設(shè)計(jì)動態(tài)網(wǎng)頁解析方案，如Selenium模擬登錄；掌握PyTorch/TensorFlow框架，熟悉BERT、Transformer等NLP模型；能構(gòu)建用戶意圖識別模型，區(qū)分“真實(shí)需求”與“隨意咨詢”；具備推薦系統(tǒng)開發(fā)經(jīng)驗(yàn)，根據(jù)用戶行為推薦產(chǎn)品；熟悉特征工程與模型優(yōu)化，如A/B測試、ROC曲線評估。 職位要求涵蓋多方面技術(shù)與經(jīng)驗(yàn)。在技術(shù)上，需對Python和Scrapy框架熟練掌握，熟知反爬機(jī)制保障數(shù)據(jù)獲取順利。分布式爬蟲架構(gòu)Scrapy-Redis的運(yùn)用能力，以及處理大規(guī)模數(shù)據(jù)量的實(shí)力也很關(guān)鍵。數(shù)據(jù)清洗與存儲技術(shù)的掌握，能確保數(shù)據(jù)的有效處理與保存。同時要清楚法律邊界，避免違規(guī)風(fēng)險。項(xiàng)目經(jīng)驗(yàn)方面，社交平臺數(shù)據(jù)抓取經(jīng)驗(yàn)優(yōu)先，動態(tài)網(wǎng)頁解析方案設(shè)計(jì)能力是加分項(xiàng)。在模型與算法領(lǐng)域，掌握相關(guān)框架與模型，構(gòu)建用戶意圖識別模型以及具備推薦系統(tǒng)開發(fā)