談談爬蟲中定位元素的常見方法

前言

我們知道，不管是爬蟲還是自動化測試，元素定位是最基本而且必須的一個步驟。今天我們就來講講怎么定位元素。

爬蟲中定位元素

爬蟲中怎么定位元素呢？常見的有以下幾種：

• BeautifulSoup find 定位

• BeautifulSoup css 定位

BeautifulSoup 是一個可以從 HTML 或 XML 文件中提取數據的 Python 庫，我們需要安裝并導入這個庫。

我們再把我們提取的 html 數據轉換成 lxml 格式，方便 BeautifulSoup 庫直接提取信息。

import requests
html = requests.get('ttps://www.pyzhishiquan.com/crawler')
soup = BeautifulSoup(html, 'lxml')

BeautifulSoup find查找元素

接下來我們就可以用 find 方法來查找元素了，比如查看所有 a 標簽元素。

BeautifulSoup css 選擇器定位元素

BeautifulSoup 中我們也可以通過 css 選擇器查找定位元素，導包和格式轉換和上面一樣，格式如下。

soup.select('xxx')

select 方法中的字符串參數怎么獲取呢，以 Chrome 瀏覽器為例，F12 檢查元素中右鍵復制 seletor 就可以了。

我以前寫的很多爬蟲項目的文章都用過這種定位方法，比如 爬蟲喜馬拉雅音頻 文章中提取音頻文件信息。

在 爬取上海房租信息 文章中用 css 選擇器提取租房房源的信息。

當然，在源代碼中無法獲取的元素的 Ajax 動態(tài)加載的頁面，上面的定位方法就不管用了，我們可以通過分析 Network 中的請求，找到你需要提取的信息的規(guī)律，這個內容本文不做講解。
還有一種方法是通過 selenium 庫來解決，selenium 庫是模擬人工操作瀏覽器的，優(yōu)點可見即可爬，就是只要他能看到的都能獲取信息爬取下來。

selenium 定位

selenium 庫定位元素有方法很多，今天分享下常見的的定位方法。

我們首先需要導入 selenium 庫，通過 webdriver 啟動 Chrome 瀏覽器。

ID 定位

ID 一般在頁面元素中是唯一的，可以準確定位頁面元素。

driver.find_element_by_id('id')

有些頁面元素的 id 是每次刷新頁面都不一樣的，比如 163 郵箱的用戶名輸入框 id，每次刷新頁面，這個 id 都會變。所以，對于這種每次不一樣的 id，我們都不能用 id 來定位了。

這種隨機 id 的元素我們就通過其他屬性來定位或者通過父元素來找到子元素。

classname 定位

如果 classname 是唯一的話，我們就可以通過 classname 來定位元素。

Xpath 定位

Xpath 路徑獲取方法第一個方法和剛才獲取 selector 信息一樣，直接 copy。

第二個方法可以借助插件，Chrome 瀏覽器上的 Xpath Helper 插件和火狐插件 firepath，以 Xpath Helper 為例，打開后按住 Shift 鍵，移動到想定位的元素，左邊就會顯示 Xpath 路徑。

這種方法缺點也很明顯，XPath 都是從根路徑開始的，導致 XPath 過長，不利于維護。

雙屬性定位

對于一個屬性不是唯一的，我們可以用 Xpath 的雙屬性來定位元素，這個方法對于定位網頁和 APP 都適用。

上圖是網易云 APP，我想定位簽到按鈕，我可以通過 class 屬性和 text 屬性同時定位元素。

driver.find_element_by_xpath('//*[@class='android.widget.TextView' and @text='簽到']')

這種方法適用于很多元素共用同一個屬性的情況，經過我們的組合，就把元素唯一化了。

網頁元素同樣也可以用雙元素來定位，方法是一樣的。

以上是 pk 哥平時常用的定位元素的方法，如有其他好的定位方法，歡迎大家留言討論，共同進步。