以下是文章主要內容：

今年早些時候，沃爾瑪致力于追蹤競爭對手線上價格的工程師驚訝地發現：他們用來一天查看亞馬遜網站數百萬次的技術突然失靈了。

沒能訪問亞馬遜網站的數據可不是小事情。跟大多數的大型零售商一樣，沃爾瑪非常依賴于在競爭對手網站掃描價格的計算機程序來相應地調整自家商品的價格。即便價格跟對手僅僅相差50美分，也有可能損失一筆訂單。

然而，亞馬遜用于屏蔽這些程序（通常被稱作爬蟲機器人）的新策略挫敗了沃爾瑪的意圖。

據一位知情人士透露，該總部位于阿肯色州本頓維爾的零售商的技術部門@WalmartLabs幾個星期以來一直都找不到繞過亞馬遜的封阻的辦法，因此不得不通過另一個來源來檢索亞馬遜的數據。

這一此前未經報道的事件提供了一個有關亞馬遜強大的技術實力如何幫助它統治零售市場的案例研究。

作為當今全球最大的在線零售商，亞馬遜最為消費者熟知的是它快速的配送，豐富多樣的商品選擇，以及在原創電視節目等領域的野心。不過，它用以驅動現代電商業務的種種復雜的幕后技術，對于它的成功同樣不可或缺。

憑借對機器人的靈活使用，亞馬遜不僅僅能夠觀察競爭對手的一舉一動，還日益能夠讓它們無從發現自己的舉動，做到敵明我暗，進而能夠適時地設定低于競爭對手的價格，又或者悄然提高自家產品的價格。

“對標亞馬遜將變得越來越困難。”前亞馬遜經理、加州山景城的零售定價軟件提供商Boomerang Commerce的CEO古魯·哈里哈蘭（Guru Hariharan）指出。

沃爾瑪發言人拒絕討論該發生于1月的事件，但表示，公司定期改進它的技術，且有多個工具來追蹤商品。他說道，公司不僅僅通過定價來給消費者提供價值，還會通過店內取貨折扣和其它的實惠。

亞馬遜發言人稱公司知道競爭對手使用機器人來追蹤它的商品，否認有采取任何的“行動”去阻止對手。“在如何管理在我們的網站上的機器人上，最近一切照舊，沒有任何的改變。”不過，她還指出，“我們根據需要將人放在機器人之前。”

機器人能夠減慢網站的運行，這是零售商采取行動屏蔽它們的一大動機。

路透社采訪了21位熟悉機器人及其部署方式的業內人士，當中包括沃爾瑪現任和以前的員工、前亞馬遜員工和外部的專家。

大多數人都稱亞馬遜在新興的機器人爭奪戰中占據領先地位。

該公司的技術優勢有利于它提升利潤率，與此同時它也給投資者帶來了豐厚的回報。該互聯網巨頭的股價自2009年3月以來已經瘋狂上漲了大約15倍，而標準普爾500指數同期僅增長了三倍多。亞馬遜在2015年錄得1000億美元的年銷售額——據它稱，它達到這一成就的速度要快于歷史上任何的一家公司。

美麗新世界

自亞馬遜10多年前幫助開創由爬蟲機器人驅動的定價以來，該慣例在零售行業掀起了巨大的變化。

以往，傳統的實體店至多一周更改一次價格，因為人手更換價格標簽需要一定的時間和成本。

而在電商領域里，零售商能夠輕而易舉地更新價格，有時候一天變更好幾天，這得益于可考量庫存水平、銷售預測和競爭對手定價數據的算法。

為了維持市場競爭力，紐約在線批發商Boxed等公司依靠包括爬蟲機器人在內的各種方式，來確保自己的價格變動不會慢于競爭對手，哪怕只是慢20分鐘也要避免。

“20分鐘在圣誕節期間如同是一輩子那么長。”Boxed的CEO黃介邇（Chieh Huang）表示，“如果我們沒能夠適當地定價，那我們幾乎馬上就會經受銷售額的下降。”該公司主要銷售衛生紙、寵物食品等商品。

讓機器人偽裝成真實顧客

用機器人來查看公開網站上海量的數據背后——這一過程被稱為網頁采集或者網頁數據抓取——有著各種各樣的目的。例如，Alphabet旗下的谷歌持續不斷地在網絡上部署爬蟲，收集信息來給它的搜索引擎呈現搜索結果和出售廣告。

而在電商領域，爬蟲機器人的使用已經變成了一場貓捉老鼠的游戲。企業會試圖阻撓競爭對手在自家網站上部署的機器人，同時也想要突破競爭對手的網站防線，監視它們的一舉一動。第三方服務因此如雨后春筍般涌現，它們致力于幫助那些技術相對沒那么先進的零售商。

為了避免被競爭對手收集自己的數據，部分零售網站采用人類能夠識別但多數機器人都無法識別的驗證碼。由于引起了部分顧客的不滿，亞馬遜已經不再使用驗證碼。

對于尋求避開這種防線的零售商來說，將自己的計算機程序偽裝成真實的顧客是一大關鍵。一些定價技術專家會使得程序的電腦光標在網頁上的游走像真實顧客那樣，而不是直接去抓取有價值的數據。另一種技術是，同時使用多個電腦地址，讓零售商無法將一連串的點擊行為追溯到單一的來源。

愛爾蘭電商分析公司Profitero高級副總裁凱斯·安德森（Keith Anderson）認為，“這就像是軍備競賽。每一周，或者每一個月，對戰雙方都會拿出某種新伎倆。”

亞馬遜1月挫敗沃爾瑪的行動以一個名為PhantomJS的專用網絡瀏覽器為目標。不同于Internet Explorer，該瀏覽器專為程序員而打造——說明它的用戶不是普通購物者的一個線索。據三位知情人士透露，亞馬遜設置了數字窗簾來隱藏自家商品的信息，以此來避免被PhantomJS用戶追蹤。

還不清楚該并非特別針對沃爾瑪的行動是否也影響到其它的公司。

路透社近幾周進行的測試顯示，在美國的幾家大型零售商當中，亞馬遜擁有迄今為止最先進的機器人檢測技術——既包括自家主頁上的檢測，也包括路透社所挑選的兩款價格頻繁變動的熱門商品德龍（De'Longhi）咖啡機和羅技網絡攝像頭上的檢測。

上述測試由舊金山出售反機器人工具的公司Distil Networks展開。在其中一項測試中，Distil通過程序化讓機器人訪問各家零售商的網站3000次，但會比較緩慢地訪問，以模擬出真實顧客點擊查看商品的效果。這一伎倆騙過了大多數的零售巨頭，但騙不過亞馬遜。

例如，被屏蔽的機器人沒有發現亞馬遜上的德龍咖啡機價格始于4月25日早上的24小時內變化了4次（根據價格追蹤網站camelcamelcamel.com的數據）。在這段時間里，該商品的價格變化幅度超過10%，變動區間為80.06美元至88.16美元。

布滿爬蟲機器人

雖然亞馬遜擁有強大的技術，但其網站上的網絡爬蟲數量之多令人驚愕。知情人士稱，有時候，亞馬遜網站上的產品多達80%的點擊來自爬蟲機器人，相比之下其它大型零售商的網站的這一比例只有三分之一左右。

除了競爭對手尋求獲得價格數據之外，那些點擊流量來源還包括來自研究市場競爭的高校研究者、搜索引擎、廣告服務甚至試圖入侵亞馬遜賬號的行騙者的爬蟲機器人。

就沃爾瑪來說，據沃爾瑪以前和現在的員工說，其在硅谷的一個小團隊負責指引它的自動化定價策略，同時在印度和全球各地的數十名工程師負責處理程序代碼。

其中一位受訪者表示，從幾年前開始，亞馬遜約有40名工程師負責利用機器人秘密地提取和整理競爭對手的數據。亞馬遜沒有透露其爬蟲機器人運作團隊的規模和組成結構。

從一項美國專利申請來看，亞馬遜正在研究一項加密技術來迫使機器人而非員工來解決進入其網頁的復雜算法。

在前亞馬遜經理、Madrona Venture Group常務董事斯科特·雅各布森（Scott Jacobson）看來，“亞馬遜既有能力去檢測來自外部的爬蟲機器人流量，又有資金去應對這種問題。而大多數的零售商則不具備這些條件。”