|
發現一篇從認知心理學角度研究GPT-3.5模型的論文，原文題為《Machine intuition
Uncovering human-like intuitive decision-making in GPT-3.5》其中之一作者是斯坦福大學的Michal Kosinski； 本文結論：本文發現，以OpenAI發布的GPT-3.5代表的大語言模型LLMs有可能產生微妙的錯誤，而這些錯誤很難被發現，因為它們可以流暢地融入到對話中，并且不會在第一時間造成語義或邏輯上的 不一致的地方。 *注，筆者并非研究心理學（包括認知建模方法和類人思考）出身，因此也懇請相關學科的專家對本文提供反饋意見（微信：Alphatue），以便筆者修正。本文僅供大家學習。轉載請按照相關規則，注明來源，且附上本文的所有參考文獻鏈接。 作者 | Thilo Hagendorff 、Sarah Fabi、Michal Kosinski 翻譯&分析 | 阿法兔 參考鏈接：https:///ftp/arxiv/papers/2212/2212.05206.pdf人工智能（AI）技術，重塑了整個社會，在使用人工智能系統時，人類會期望AI能潛在的超理性方式去工作。然而，本篇研究顯示，部分人工智能系統（這里的研究對象是大語言模型LLMs），盡管表現出與人類直覺驚人相似的行為 ，但是也會存在許多認知誤區。
本篇文章使用了最先進的LLM——OpenAI的GPT-3.5，通過認知反思測試與語義錯覺。筆者注釋：Cognitive Reflection Test (CRT)CRT（Cognitive Reflection Test，認知反射測驗）可以用來判定一個人更偏向使用直覺還是思考。具備反思特征的人傾向于深入思考，也較少地表現出解釋性深度錯覺，而缺乏反思特征的人更多地依靠他們的直覺。直覺給與我們一個簡化的、粗略的，而且通常足夠好的分析，這讓我們產生錯覺，認為自己所知甚廣。但是當我們慎思時，我們才意識到事物很復雜，我們知之甚少。認知反思測試和語義錯覺，最初是為了研究人類的直覺決策，研究結果表明，GPT-3.5系統地表現出 '機器直覺（Machine Intuition）'，這意味著，機器產生的錯誤反應，與人類對CRT以及對語義錯覺的反應驚人地相同。
本文研究了幾種方法，用來測試GPT-3.5的直覺式決策的堅固程度，以及傾向于類似直覺的決策。研究表明，用認知科學的方法研究大模型LLMs ，可能揭示出新興的特征，調整對AI機器行為的預期。大語言模型（LLMs）在人類的日常生活中變得越來越重要，因此，去研究它們如何推理、算法決策的可靠性如何、提供的信息是否正確，以及人類在與它們互動時應該如何謹慎，都是需要關注的核心問題。 關于人類如何看待人工智能技術，研究表明，在技術任務中，人類對人工智能技術的信任度很高：
一方面，鑒于人工智能系統是可靠的決策者、模式識別者、游戲者或對話者，這并不令人驚訝。
另一方面，我們的研究表明，人工智能系統的概念是存在問題的。大語言模型（LLMs）表現出的行為，與人類的直覺決策驚人地相似。以及，因為直覺決策所導致認知錯誤。因此，本文認為，人類在與大語言模型LLMs互動時，也應該重新思考一下。
本文應用了廣泛用于心理學研究的認知反思測試（CRT）
CRT包括三種類型的任務，通常是以簡單的數學或邏輯問題的形式測試人類的認知能力。如表1所示，所有的任務都有可能引發直觀的但不正確的答案，而找到正確的解決方案，則需要進行思考和斟酌。
第1類CRT任務觸發一個簡單的 而不是通過 '多于 '這一誘發錯誤的短語進行實際計算。第2類CRT任務 利用了完成數字三連串的傾向性。在第三類CRT任務中，像 '一半 '或 '三分之一 '這樣的短語會誘使人類進行簡單的減法計算。
三分之一 '等短語誘使人類進行簡單的除法，而不是正確地考慮指數式增長。
數學能力是CRT的一個混雜變量（confounding variable）；因此，為了測試沒有這個變量的直覺思維，我們進一步應用由著名的摩西幻覺（Moses illusion ）（10）啟發的語義錯覺測試。
筆者注釋：關于摩西幻覺:如果你了解一定的圣經知識，先給大家出個簡單的考題：①在圣經中，吞掉約拿的是哪種動物？②在摩西帶上方舟的動物中，每種動物的數量為多少？ 回答是否分別為“鯨魚”和“2”呢？大多數人都會這么回答，盡管他們很清楚，把動物帶上方舟的不是摩西，而是諾亞。 心理學家將這種現象稱作“摩西幻覺”（Moses Illusion）。這個例子顯示了人們是多么不擅長識別身邊的事實錯誤。即使人們知道正確的信息是什么，仍會注意不到錯誤的信息，甚至在其它情境下繼續沿用這些錯誤信息。 認知心理學研究顯示，人類天生就不擅長辨明信息真偽，也不擅于將我們讀到或聽到的信息與關于某個話題的已知信息進行比對。在如今這個所謂的“假新聞”時代，這一現象正深刻影響著人們吸收新聞、社交媒體和其它公眾信息的方式。 參考資料：https://baijiahao.baidu.com/s?id=1597329291793914317&wfr=spider&for=pc 語義錯覺，即包含人們傾向于忽略的不一致的問題，同樣也是為了測量直覺反應的傾向。在這里使用 '直覺 '一詞時，我們指的是直覺的雙過程概念。直覺反映了系統1的過程，意味著在不費吹灰之力和自發的判斷中的認知自如，預設了錯誤的可能性。
那么，我們稱之為 '機器直覺 '的現象是指機器的行為模式，反映了類似人類的直覺決策。 我們將CRT和語義錯覺任務，應用于最流行和先進OpenAI的GPT-3.5
特別地，本文使用的是最強的版本——'text-davinci-003'，也就是OpenAI在2022年11月發布的模型。為了確定結果不會受GPT-3.5在訓練期間能夠接觸到原始任務的影響。我們讓假設盲的研究助理提供平衡變量。助手提供每種類型的CRT任務以及語義錯覺的平衡變體（counterbalanced variants）。 遵循具體指示，我們手工驗證了本文數據集中的所有項目，替換了無意義或不可靠的項目，并修正了數字錯誤或錯別字。
最終，本數據集包括150個CRT 任務，包括上述三類任務中的每一類，以及50個語義錯覺（見附錄A：表A.1和A.2 和A.2）。
此外，在解釋反應時，本文區分了三種情況： ①直觀的（但不正確的反應）
GPT-3.5顯示出來它更傾向于依賴機器的直覺，而不是以代表深思熟慮的推理方式作出反應。在150個CRT任務中，有86.7%的任務GPT-3.5給出了直觀但不正確的答案，
而GPT-3.5在5.3%和8%的任務中，出現了正確或不典型的反應（見圖 1). 而人類平均在58.7%的情況下做出直覺反應，在41.3%的情況下做出正確反應。
除了對人類和GPT-3.5的直覺判斷的表現進行定量比較外，值得注意的是，GPT-3.5并沒有做出正確的反應，或者它只是通過非典型的反應來即興發揮，也反映了一種直覺行為。
各種研究表明，GPT-3.5在回答基本數學問題上是沒問題的，這就排除了模型的算術推理能力不足，所以導致上述結果的潛在異議。而它對語義錯覺的反應也是如此，更依賴于純粹的語言而不是數學問題。
GPT-3.5對72%的語義錯覺作出了直觀的反應，而人類在原始摩西幻覺中的直觀答案為81%。為了確保這個結果不是因為缺乏知識而造成的，我們檢查了GPT-3.5，發現它確實擁有發現每個任務中的錯誤所需的世界知識。這在所有任務中都是成功的。
這些結果清楚地證明了GPT-3.5不是刻意的推理者，而是表現出機器的直覺的假設。
A組的結果顯示增加了GPT-3.5的傾向于選擇正確（CRT：11.7%。語義錯覺。這意味著，在CRT任務的選項中提出正確的答案，或者在語義錯覺的多選題中加入 '該問題包含一個不真實的假設 '的選項，都會輕微地推翻CRT第一類任務（33.7%正確）和語義錯覺的直覺回答。
其次，我們增加了后綴，指示GPT-3.5要進行慎重推理。關于CRT任務，我們使用 '讓我們思考 一步一步來'，這就減少了機器直覺略多于 多項選擇的形式（18%的正確率），而 直覺反應仍然是最突出的答案（70.7%正確）
添加后綴 '仔細思考并檢查 問題的潛在不真實假設 '的后綴。語義錯覺的可能性增加到 正確回答的可能性增加到58%，而減少了 直觀的反應到32%。第二類CRT任務 和語義錯覺通過使用下列后綴而獲益最大 所述的后綴而獲益最大。
第三，我們在所有任務前加上訓練例子，結果顯示在 C小組顯示，GPT-3.5的傾向性為正確回答（而不是憑直覺）的傾向，會隨著每一個額外的訓練案例增加，而增加有正確而非直覺的響應。
GPT-3.5在CRT和語義錯覺任務中的正確、直觀和非典型的百分比 ，之前有指令激發GPT-3.5進行有意的推理。而我們發現，GPT-3.5無法學習到如何解決這些任務的具體規則，這一點令人印象深刻。過去幾年里，語言模型（也包括GPT模型）已經逐漸變得越來越強大，而機器學習模型能力增加，也導致了更多的技術不透明。本文研究表明，在此種情況下，可以借用認知科學方法（認知科學旨在研究不透明的結構和人類思想）因此，與其通過仔細檢查來推導人工神經網絡的屬性，而不如去仔細研究其模型結構和超參數，從而從經驗的角度研究機器行為。
使用這種方法，可以在一個最先進的語言模型中，發現迄今為止未知的機器直覺現象。CRT任務及語義錯覺都是經過特定設計的，主要是為了激發出機器直覺的和錯誤的反應。
總體來說，我們的發現，意味著大模型LLMs有可能產生微妙的錯誤。這些錯誤很難被發現，因為它們可以流暢地融入到對話中，并且不會在第一時間造成語義或邏輯上的 不一致的地方。
因此，當大模型LLMs被用于高風險的領域時，這一點會成為問題，例如司法系統、醫療領域或警務工作中使用大語言模型時，出問題的嚴重性可能就越大。（兔的注釋—舉個例子：比如用在某些新聞場景的模型，輸錯人物名字的風險要大于輸錯某個疾病的名字，而醫療領域模型正相反，醫療領域的模型不能輸錯疾病的名字）迄今為止，直覺行為與人類有關，但與機器無關。如果機器的直覺能夠在技術上被減少或根除，那么這種觀點就可以得到支持。然而，當假設這不會成功時，人們應該開始期待人工智能的應用也可以有直觀行為。Hitherto, intuitive behavior is associated with humans but not machines. This view can be upheld if machine intuition can be technically reduced or eradicated. However, when assuming that this will not work out, one should begin expecting artificial agents to behave intuitively, too. (如果您對這篇文章有一些反饋或者新的認識，可以加微信：Alphatue~~)
1.https:///ftp/arxiv/papers/2212/2212.05206.pdf2https://baijiahao.baidu.com/s?id=1597329291793914317&wfr=spider&for=pc3.參考資料：https://zhuanlan.zhihu.com/p/581695866
|
