PyCharm和Scrapy寫爬蟲 （Windows環境配置）

大家學習Python的過程中，總會想要一個好用的IDE來幫助提升開發的效率。Python自帶的IDLE不太適合，命令行模式對于工程結構不太友好，常用的IDE，如Eclipse（需要PyDev插件），還行。微軟的VisualStudio自帶Python以及各種框架，配置一下interpreter也可以，Sublime，Atom，Notepad++....反正有很多，你喜歡就可以選哪個。這里主要推薦的是JetBrains出品的PyCharm,它家還有著名的Java開發IDE intelliJ IDEA，，說一下簡單的用PyCharm寫爬蟲（簡單的一個例子）

• Prerequisites：1）安裝好PyCharm 2) 下載scrapy

• PyCharm安裝：go to https://www./pycharm/?fromMenu, 下載社區版或是專業版（收費的，可以30天試用，推薦）。下載完后，直接打開安裝（Python已經提前安裝好了，安裝時需要Python,類似于安裝Eclipse時需要JDK一樣）

• 下載Scrapy：用pip安裝scrapy。為了不影響安裝的Python，可以創建一個Python的虛擬環境，然后再下載scrapy

• 創建虛擬Python環境：用pip先安裝virtualenv這個工具：pip install virtualenv，然后用virtualenv創建一個虛擬環境（如果安裝了不同版本的Python，可以指定要用哪個版本的Python的去創建虛擬環境）如下：
  

創建一個scrapy的項目：先激活虛擬環境（進入到\venv\Scripts目錄下，執行activate），如下（這里venv是創建的虛擬環境）

這個時候，虛擬環境被激活，然后用scrapy命令創建一個爬蟲工程：scrapy startproject learn_scrapy
創建完成之后可以看到這樣的目錄結構，如下(用PyCharm打開)：

（note:這里begin.py不是初始文件，是后面創建的，這個例子來自：http://docs./scrapy/scrapy0.24/intro/tutorial.html）

完成上述的操作之后，就是寫一個示例來運行一下，可以參考http://docs./scrapy/scrapy0.24/intro/tutorial.html 這個例子，寫一個begin.py在scrapy.cfg的同級目錄，再在spider包下面創建一個spider.py的文件。

完成示例代碼之后，接著就是運行，這時候需要配置一下運行的環境，選擇Run - Edit Configurations...，新建一個python,如下

Python interpreter要選擇之前創建的虛擬環境下的

這樣就可以開始執行了