重大升級：NVIDIA 聯(lián)合 MediaTek 將 G

NVIDIA 和 MediaTek 攜手合作，讓全球游戲玩家更容易地使用業(yè)界最強大的游戲顯示技術。

兩家公司今天在 Gamescom 科隆游戲展上宣布合作，將整套 NVIDIA G-SYNC 技術集成到全球最熱門的 scaler 組件當中。

游戲玩家的顯示器有望實現(xiàn)出色的圖像質量、卓越的運動清晰度、超低延遲、高精度的色彩，以及更多前沿優(yōu)勢。

G-SYNC Pulsar：領先的顯示技術

此次合作的亮點是引入了一項新技術——G-SYNC Pulsar，它可提供 4 倍的有效運動清晰度以及流暢且無撕裂的可變刷新率 (VRR) 游戲體驗。

G-SYNC Pulsar 將首次應用到新發(fā)布的顯示器中，包括華碩 ROG Swift 360Hz PG27AQNR、宏基 Predator XB273U F5 和 AOC AGON PRO AG276QSG2。

這些顯示器預計將于今年晚些時候上市，可提供 2560×1440 分辨率、360Hz 刷新率并支持 HDR。

將 G-SYNC 集成到 MediaTek scaler 組件中后，就不再需要獨立 G-SYNC 模組，從而簡化生產流程并降低成本。

這有助于以更實惠的價格將功能豐富的 G-SYNC 顯示器推向市場。通過將這些優(yōu)質游戲產品推廣到更廣泛的受眾，將有更多玩家享受到最佳的運動清晰度、圖像質量和性能。

印度擁有全球第二大公路網，其總長度近 400 萬英里，有 1,000 多個收費站，其中大部分為人工收費站。

像這樣的傳統(tǒng)收費站，無論在世界的哪個地方，都可能導致大規(guī)模的交通延誤、通勤時間過長和嚴重的道路擁堵。

為幫助印度各地收費站實現(xiàn)自動化，由印度裔美國人創(chuàng)立的科技公司 Calsoft 協(xié)助印度將多項 NVIDIA 技術與該國的主流支付系統(tǒng)“統(tǒng)一支付接口”（UPI）集成在一起。

人工收費站花費的時間和人力均多于自動收費站。而印度收費站系統(tǒng)在實現(xiàn)自動化的過程中，還面臨著一個額外的復雜問題——種類繁多的車牌。

印度車牌的不規(guī)范給車牌自動識別系統(tǒng)（ANPR）的準確性帶來了巨大的挑戰(zhàn)。印度的車牌有各種顏色、尺寸、字體樣式和掛牌位置，所使用的語言也不統(tǒng)一，所以任何實施方案都必須解決這些車牌差異問題。

Calsoft 幫助開發(fā)的解決方案可自動讀取過往車輛的車牌，并向相關駕駛員的 UPI 賬戶收費。這種方法減少了人工收費的需求，是解決該地區(qū)交通問題的重要一步。

自動化的落實情況

作為試點項目的一部分，該解決方案已被部署到多個主要城市。它通過使用 ANPR，能夠在車牌通過收費站時對其進行檢測和分類，使車牌讀取準確率達到 95%。

Calsoft 高級技術副總裁 Vipin Shankar 認為 NVIDIA 的技術在這項工作中發(fā)揮了至關重要的作用。他表示：“夜間檢測的難度尤其大。還有一個挑戰(zhàn)是提高模型的準確性，解決由于霧、暴雨、強光反射、沙塵暴等環(huán)境影響造成的像素失真。”

該解決方案使用 NVIDIA Metropolis 對車輛進行全程跟蹤和檢測。Metropolis 是一個應用框架、開發(fā)者工具套件和合作伙伴生態(tài)，它通過結合視覺數(shù)據(jù)與 AI，提高各行各業(yè)的運營效率和安全性。

Calsoft 工程師團隊使用 NVIDIA Triton 推理服務器軟件來部署和管理他們的 AI 模型。該團隊還使用 NVIDIA DeepStream 軟件開發(fā)套件構建了一個實時流式傳輸平臺，其整合了實時對象檢測、分類等高級功能，是高效處理和分析數(shù)據(jù)流的關鍵。

Calsoft 在其 AI 解決方案中使用了 NVIDIA 硬件，包括 NVIDIA Jetson 邊緣 AI  模塊和 NVIDIA Tensor Core GPU 等。Calsoft 的收費站解決方案還可以進行擴展，這表示它能夠適應未來的增長和擴展需求，更好地保證了其性能和適用性一直能夠適應交通狀況的變化。

了解 NVIDIA Metropolis 如何幫助北卡羅來納州羅利市等城市更好地管理交通流量和提高行人安全。

隨著颶風、龍卷風等極端天氣事件的發(fā)生頻率和嚴重程度不斷增加，使用最新技術改善和加速氣候研究與預測變得空前重要。

正值大西洋颶風季的高峰期，NVIDIA Research 近日發(fā)布了一個用于模擬高保真大氣動力學的全新生成式 AI 模型 StormCast。該模型可以在中尺度（比風暴大但比氣旋小的尺度）上作出可靠的天氣預測，這對于防災減災工作至關重要。

NVIDIA 在一篇論文中詳細介紹了 StormCast。當下，極端天氣現(xiàn)象正在奪走人們的生命、摧毀人們的家園，僅在美國每年就造成超過 1500 億美元的損失，該模型就是在這樣的背景下誕生的。

該模型正是一個例子，體現(xiàn)了生成式 AI 正在通過推動氣候研究和具有可操作性的極端天氣預測取得突破性進展，幫助科學家應對拯救生命和世界這一最嚴峻的挑戰(zhàn)。

NVIDIA Earth-2 是一個集 AI、物理仿真和計算機圖形于一身的數(shù)字孿生云平臺，能夠以前所未有的準確性和速度在全球范圍實現(xiàn)天氣與氣候預測的模擬和可視化。

例如在臺灣地區(qū)災害防救科技中心計劃使用 CorrDiff (Earth-2 提供的一個 NVIDIA 生成式 AI 模型) 預測臺風的精細尺度細節(jié)。

CorrDiff 可將模型分辨率從 25 公里提高到 2 公里，分辨率是以前的 12.5 倍，單次推理速度比傳統(tǒng)的方法快了 1000 倍，能源效率提高了 3000 倍。

這意味著該中心以前需要花費近 300 萬美元購買 CPU 才能完成的救援工作，現(xiàn)在只需花費約 6 萬美元就能在搭載 NVIDIA Hopper Tensor Core GPU 的單個系統(tǒng)上完成。這一成本的大幅降低表明生成式 AI 和加速計算能夠有效地提高能效和降低成本。

該中心還計劃使用 CorrDiff 預測城市地區(qū)的下沉氣流。因為當強風以漏斗狀向下吹往街道時，就會損壞建筑物并影響行人。

StormCast 現(xiàn)在為 CorrDiff 增加了每小時自回歸預測功能，這意味著該模型可以根據(jù)過去的結果預測未來的結果。

通過聚焦地區(qū)影響全球

全球氣候研究始于地區(qū)層面的研究。

天氣和氣候變化造成的物理危害在不同地區(qū)之間存在顯著差異。但由于在中尺度上模擬基本的流體動力學運動需要很高的空間分辨率，因此在這一層面進行可靠的數(shù)值天氣預測需要大量計算成本。

過去，區(qū)域天氣預報模型 (通常稱為對流容許模型，縮寫為 CAM) 迫使研究人員不得不在分辨率、集合規(guī)模和可負擔性方面作出不同的權衡。

氣象學家可以使用 CAM 追蹤風暴的演變和結構并監(jiān)測其對流模式或風暴形成時的構成方式。例如，龍卷風發(fā)生的概率取決于風暴的結構和對流模式。

CAM 還有助于研究人員了解與天氣有關的物理危害對基礎設施層面的影響。

例如，研究人員可以使用全球氣候模型模擬為 CAM 提供參考，幫助它們根據(jù)大氣、河流含水量的緩慢變化，預測沿海易受災地區(qū)的山洪暴發(fā)。

在較低分辨率下，在全球數(shù)據(jù)上訓練而成的機器學習模型已能夠有效地模擬數(shù)值天氣預報模型，來改進嚴重事件的預警系統(tǒng)。這些機器學習模型的空間分辨率通常為 30 公里左右，時間分辨率為 6 小時。

如今，在生成擴散技術的幫助下，StormCast 能夠實現(xiàn) 3 公里的空間分辨率和每小時的時間分辨率。

盡管尚處于起步階段，但該模型在與降水雷達配合使用時，已經可以提供最多提前 6 小時的預報，其準確度比美國國家海洋和大氣管理局 (NOAA) 最先進的 3 公里尺度 CAM 高出 10%。

此外，StormCast 的輸出結果可顯示符合物理學的逼真熱量和濕度動態(tài)，并且能夠預測 100 多個變量，例如在多個精細劃分的高度層上的溫度、水分濃度、風力和降雨雷達反射率值等。這使科學家們首次能夠在 AI 天氣模擬中確認風暴浮力的真實 3D 演變過程。

NVIDIA 研究人員利用來自美國中部的約三年半 NOAA 氣候數(shù)據(jù)對 StormCast 進行了訓練，并使用 NVIDIA 加速計算加快計算速度。

醞釀更多創(chuàng)新

科學家們已經在探究如何利用該模型的優(yōu)勢。

The Weather Company 創(chuàng)新負責人 Tom Hamill 表示：“由于有序的雷暴和冬季降水會產生巨大的影響，而且對其作出可信預報的難度極大，因此制作計算上易處理的風暴尺度集合天氣預報是數(shù)值天氣預報領域所面臨的一項艱巨挑戰(zhàn)。StormCast 顯然是一個能夠應對此類挑戰(zhàn)的模型。The Weather Company 十分高興能與 NVIDIA 一起開發(fā)、評估并在未來使用這些深度學習預報模型。”

科羅拉多州立大學大氣合作研究所機器學習負責人 Imme Ebert-Uphoff 表示：“開發(fā)高分辨率天氣模型需要使用 AI 算法解決對流問題，而這是一個艱巨的挑戰(zhàn)。NVIDIA 的這項新研究探索了利用 StormCast 等擴散模型實現(xiàn)這一目標的潛力，這代表著我們朝著未來開發(fā) AI 高分辨率天氣預報模型邁出了重要一步。”

這些研究突破不僅實現(xiàn)了達到物理學精度的氣候模擬的加速與可視化、創(chuàng)造了地球的數(shù)字孿生，還展現(xiàn)了 NVIDIA Earth-2 如何開啟了氣候研究的一個全新的重要時代。

NVIDIA Research 在全球擁有數(shù)百名科學家和工程師，專注于氣候 AI、計算機圖形學、計算機視覺、自動駕駛汽車和機器人等領域的研究。

主題圖片來自 NASA。

了解有關可持續(xù)計算的更多信息，訪問 https://www./data-center/sustainable-computing/

了解有關軟件產品信息的通知，訪問 https://www./about-nvidia/terms-of-service/

編者注：本文屬于《解碼 AI》系列欄目，該系列的目的是讓技術更加簡單易懂，從而解密 AI，同時向 NVIDIA RTX PC 和工作站用戶展示全新硬件、軟件、工具和加速特性。

內容生成器 — 無論是生成語言、2D 圖像、3D 模型還是視頻 — 為創(chuàng)意社區(qū)提供了各種工具，可更快將想象變?yōu)楝F(xiàn)實。

為幫助開發(fā)者構建這些新型生成式 AI 工具，NVIDIA 建立了 NVIDIA AI Foundry。它有助于公司使用 NVIDIA Edify 基于自己的已授權數(shù)據(jù)訓練生成式 AI 模型。Edify 是一種多模態(tài) AI 結構，可使用簡單的文本提示生成圖像、視頻、3D 素材、360 度高動態(tài)范圍成像和基于物理性質的渲染 (PBR) 材質。使用 AI Foundry，公司可以訓練定制 AI 模型來生成上述任何素材。

Edify 的關鍵優(yōu)勢包括能夠生成多種類型的內容、其卓越的訓練效率 (這便于它在基于更少的圖像進行訓練時生成高質量內容)，及其調優(yōu)模型以進行風格匹配或學習字符或對象的能力。

基于 NVIDIA AI Foundry 和 Edify 構建的服務范例之一為 Generative AI by Getty Images，一種可商用的生成式攝影服務。組合使用 AI Foundry 與 Edify，用戶可以控制他們的訓練數(shù)據(jù)集，從而創(chuàng)建符合其需求的模型。

為避免版權問題，Getty Images 使用 Edify 基于自己的已授權內容對該服務進行了訓練，以確保數(shù)據(jù)集中不存在知名人物或產品。該公司還與貢獻者分享部分利潤，為對該模型做出貢獻的創(chuàng)作者創(chuàng)造了新的收入來源。

使用 Edify 生成資產

可以對 Edify 進行訓練，以生成各種圖像類型，包括圖像、3D 素材和 360 度 HDRi 環(huán)境光貼圖。

Edify Image 可在約六秒內生成四張高質量 1K 圖像，性能比之前的模型提高一倍。還可以通過生成式放大器添加其他細節(jié)，將圖像轉換為 4K 格式。

得益于高級提示依從性，圖像實現(xiàn)了高度可控，攝像頭控制可指定焦距或場景深度，同時 ControlNets 將指導生成。ControlNets 包括 Sketch 和 Depth，前者允許用戶提供要依從的草圖或復制圖像的構圖，后者用于復制圖像的構圖。

也可以使用 Edify Image 來編輯圖像。InPaint 允許用戶在圖像中添加或修改內容。Replace — 一個嚴格 InPaint — 可以更改衣服等細節(jié)。并且 OutPaint 可以擴大圖像以匹配不同的寬高比。所有這些操作都可通過 Segment 進行簡化，這是一項只需要一條文本提示即可遮罩對象的功能。

Edify 還可以創(chuàng)建藝術家級別的 3D 網格。這些網格采用基于四邊形的清晰拓撲、高達 4K 的 PBR 材質和自動 UV 展開，便于更輕松地進行紋理編輯。快速預覽模式可在短短 10 秒內提供結果，然后將其轉換為完整的 3D 網格。

這類網格非常適合原型設計場景、為布景生成背景對象，或作為 3D 雕刻的開端。

Edify 360 HDRi 將生成自然景觀環(huán)境圖，可將其用于場景照明、反射甚至作為背景。該模型可根據(jù)文本或圖像提示生成高達 16K 的 HDRi 圖像。獲得所需背板后，用戶就可以創(chuàng)建自定義 HDRi 來進行匹配，而不必花費數(shù)小時尋找。

多模態(tài)功能為 Edify 所獨有，能夠實現(xiàn)組合不同素材類型的高級工作流。例如，與智能體結合使用時，Edify 允許用戶在幾分鐘內使用簡單的文本提示進行完整場景原型設計 — 就像在 NVIDIA 研究團隊 SIGGRAPH 演示中那樣，該演示展示了由 NVIDIA Edify 提供支持的模型和 NVIDIA Omniverse 平臺的輔助性 3D 世界構建功能。

另一個用例是將 Edify 3D 和 360 HDRi 與 Image 結合起來使用，以便用戶完全控制圖像生成過程。通過以 3D 格式生成場景，藝術家可以四處移動物體并設定他們想要的鏡頭，然后使用 Edify Image 將原型轉化為逼真的圖像。

Generative AI by Getty Images

Getty Images 是創(chuàng)意視覺效果、編輯攝影、視頻和音樂領域的大型內容服務提供商和供應商之一，也是人們最初搜尋、購買和分享來自世界上的優(yōu)秀攝影師和錄像師的精彩視覺內容的地方之一。

Getty Images 使用 NVIDIA AI Foundry 來訓練 NVIDIA Edify Image 模型，以支持其生成式 AI 服務。該服務通過面向企業(yè)的 Generative AI by Getty Images 以及面向小型企業(yè)和業(yè)余創(chuàng)作者的 Generative AI by iStock 提供，允許用戶使用由 NVIDIA Edify 提供支持的模型來生成和修改圖像。

Getty Images 和 iStock 最近已更新到最新版本的 Edify Image，以便更快生成內容，實現(xiàn)更高的提示依從性并公布攝像頭控制。

用戶現(xiàn)在還可以在預拍創(chuàng)意內容時使用生成式 AI 工具，這便于他們編輯和修改 iStock 的視覺效果庫，以快速迭代和美化內容。這些相同的功能將于不久后在 Gettyimages.com 上發(fā)布。