【原】簡單測試9款AI大模型寫Fluent UDF的表現

前面提到說用通義千問讀取Fluent UDF文檔，然后輔助我們進行UFD代碼編寫。后臺有小伙伴說不讀文檔也能寫，但我覺得這牛皮點兒吹過頭了。就我個人的體驗，目前除了GPT-4之外，很少有大模型能夠一次性直接寫出正確的UDF代碼（Claude 2有時候能寫對，但大多數寫錯，Claude 3目前還未嘗試），國內大模型更是如此。下面來簡單測試一下。

我們以最簡單的需求進行嘗試。比如寫一個隨時間變化的速度入口邊界條件。以下測試全部使用統一的提示詞：

利用Fluent UDF寫一個隨時間變化的速度入口。

”

1、Copilot

微軟Copilot本身使用的是GPT-4。

如圖所示，Copilot給出了正確的示例。

2、GPT-4

這里使用Coze提供的GPT-4(8K)模型。

可以看到GPT-4給出了正確的示例。

3、Claude 3

這里使用lmsys提供的claude 3。

從圖中可以看出，Claude 3的sonnet與opus版本都能給出了正確的示例。而且opus版本的答案解釋得極為詳細。

4、Gemini 1.0

由于目前我這里只能使用Gemini 1.0，所以只能先看看Gemini 1.0的效果了。

完全是胡言亂語。由于無法使用最新版的Gemini 1.5，所以無從得知最新版的效果如何。

下面來看看國內的大模型。

5、通義千問

下面是通義千問。

完全不忍直視，通義千問似乎不知道啥叫Fluent UDF。這下道友們知道為啥要讀入Fluent UDF文檔之后再問了吧。

6、智譜清言

來看看智譜清言。

最新版GLM-4給出了正確示例，表現還不錯。順手試了一下GLM-3則不行。

7、訊飛星火

星火前陣子才更新了3.5版本，來看看表現如何。

星火裝出一副很懂的樣子，但其實是不懂裝懂。

8、Kimi

來看看最近廣告打的挺響的kimi。

寫了一堆屎山代碼，完全是在胡言亂語。

9、文心一言

文心4.0要交錢，對于這種低頻使用，而且還有大量免費可替代產品的工具，實在打不起充值的興趣，現在只能使用3.5版本。

這個3.5版本給出的示例是正確的。我突然又想氪金試試4.0版本了。

10、讀了UDF文檔后的通義千問

不是其他的模型不想讀，奈何實力不允許啊。目前除了通義千問外，其他模型都無法一次性讀入Fluent UDF文檔并完成解析。其中kimi可以讀入，但解析不了（提示文件長度超標），其他模型都無法讀入。

雖然代碼不太優雅，但給出的示例是正確的。

這就是為什么要讓大模型讀文檔的原因了。這就好比考試一樣，學霸閉卷就能考不錯的分數，學渣開卷翻書也湊合著考個及格吧。希望國內的大模型也能越來越聰明，有朝一日也能閉卷考個不錯的成績。

注：以上只是簡單的測試，實際上對于復雜的問題，任何AI大模型都難以解決，還是得靠人腦來掌舵。不過到目前為止，微軟Copilot還是比較穩的，無論是從訪問方便性還是輸出穩定性上。

”

（完）