Python分布式爬蟲：爬取房天下數據

第一步安裝redis

redis在windows系統中的安裝與啟動：

下載：redis官方是不支持windows操作系統的。但是微軟的開源部門將redis移植到了windows上。因此下載地址不是在redis官網上。而是在github上：https://github.com/MicrosoftArchive/redis/releases。

Python學習資料或者需要代碼、視頻加Python學習群：960410445

安裝：點擊一頓下一步安裝就可以了。

運行：進入到redis安裝所在的路徑然後執行redis-server.exe redis.windows.conf就可以運行了。

連接：redis和mysql以及mongo是一樣的，都提供了一個客戶端進行連接。輸入命令redis-cli（前提是redis安裝路徑已經加入到環境變量中了）就可以連接到redis服務器了。

其他機器訪問本機redis服務器：

想要讓其他機器訪問本機的redis服務器。那麼要修改redis.conf的配置文件，將bind改成bind [自己的ip地址或者0.0.0.0]，其他機器才能訪問。

注意：bind綁定的是本機網卡的ip地址，而不是想讓其他機器連接的ip地址。如果有多塊網卡，那麼可以綁定多個網卡的ip地址。如果綁定到額是0.0.0.0，那麼意味著其他機器可以通過本機所有的ip地址進行訪問。

對redis的操作

對redis的操作可以用兩種方式，第一種方式採用redis-cli，第二種方式採用編程語言，比如Python、PHP和JAVA等。

使用redis-cli對redis進行字符串操作：

啟動redis：

sudo service redis-server start

連接上redis-server：

redis-cli -h [ip] -p [端口]

添加：

set key value

如：

set username xiaotuo

將字符串值value關聯到key。如果key已經持有其他值，set命令就覆寫舊值，無視其類型。並且默認的過期時間是永久，即永遠不會過期。

刪除：

del key

如：

del username

設置過期時間：

expire key timeout(單位為秒)

也可以在設置值的時候，一同指定過期時間：

set key value EX timeout

或：

setex key timeout value

查看過期時間：

ttl key

如：

ttl username

查看當前redis中的所有key：

keys *

第二步創建項目

第三步設置settings.py文件

在middlewares.py文件添加以下內容