爬蟲(chóng)代理IP池
在公司做分布式深網(wǎng)爬蟲(chóng)，搭建了一套穩(wěn)定的代理池服務(wù)，為上千個(gè)爬蟲(chóng)提供有效的代理，保證各個(gè)爬蟲(chóng)拿到的都是對(duì)應(yīng)網(wǎng)站有效的代理IP，從而保證爬蟲(chóng)快速穩(wěn)定的運(yùn)行，當(dāng)然在公司做的東西不能開(kāi)源出來(lái)。不過(guò)呢，閑暇時(shí)間手癢，所以就想利用一些免費(fèi)的資源搞一個(gè)簡(jiǎn)單的代理池服務(wù)。
1、問(wèn)題
代理IP從何而來(lái)？
剛自學(xué)爬蟲(chóng)的時(shí)候沒(méi)有代理IP就去西刺、快代理之類有免費(fèi)代理的網(wǎng)站去爬，還是有個(gè)別代理能用。當(dāng)然，如果你有更好的代理接口也可以自己接入。
免費(fèi)代理的采集也很簡(jiǎn)單，無(wú)非就是：訪問(wèn)頁(yè)面頁(yè)面 —> 正則/xpath提取 —> 保存如何保證代理質(zhì)量？
可以肯定免費(fèi)的代理IP大部分都是不能用的，不然別人為什么還提供付費(fèi)的(不過(guò)事實(shí)是很多代理商的付費(fèi)IP也不穩(wěn)定，也有很多是不能用)。所以采集回來(lái)的代理IP不能直接使用，可以寫(xiě)檢測(cè)程序不斷的去用這些代理訪問(wèn)一個(gè)穩(wěn)定的網(wǎng)站，看是否可以正常使用。這個(gè)過(guò)程可以使用多線程或異步的方式，因?yàn)闄z測(cè)代理是個(gè)很慢的過(guò)程。采集回來(lái)的代理如何存儲(chǔ)？
這里不得不推薦一個(gè)高性能支持多種數(shù)據(jù)結(jié)構(gòu)的NoSQL數(shù)據(jù)庫(kù)SSDB，用于代理Redis。支持隊(duì)列、hash、set、k-v對(duì)，支持T級(jí)別數(shù)據(jù)。是做分布式爬蟲(chóng)很好中間存儲(chǔ)工具。如何讓爬蟲(chóng)更簡(jiǎn)單的使用這些代理？
答案肯定是做成服務(wù)咯，python有這么多的web框架，隨便拿一個(gè)來(lái)寫(xiě)個(gè)api供爬蟲(chóng)調(diào)用。這樣有很多好處，比如：當(dāng)爬蟲(chóng)發(fā)現(xiàn)代理不能使用可以主動(dòng)通過(guò)api去delete代理IP，當(dāng)爬蟲(chóng)發(fā)現(xiàn)代理池IP不夠用時(shí)可以主動(dòng)去refresh代理池。這樣比檢測(cè)程序更加靠譜。2、代理池設(shè)計(jì)
代理池由四部分組成:
ProxyGetter:
代理獲取接口，目前有5個(gè)免費(fèi)代理源，每調(diào)用一次就會(huì)抓取這個(gè)5個(gè)網(wǎng)站的最新代理放入DB，可自行添加額外的代理獲取接口；DB:
用于存放代理IP，現(xiàn)在暫時(shí)只支持SSDB。至于為什么選擇SSDB，大家可以參考這篇文章,個(gè)人覺(jué)得SSDB是個(gè)不錯(cuò)的Redis替代方案，如果你沒(méi)有用過(guò)SSDB，安裝起來(lái)也很簡(jiǎn)單，可以參考延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無(wú)線安全]玩轉(zhuǎn)無(wú)線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問(wèn)題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來(lái)看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式