一、Cutie是什么?Cutie 是一個由 Ho Kei Cheng、Seoung Wug Oh、Brian Price、Joon-Young Lee 和 Alexander Schwing 開發的視頻對象分割(VOS)框架,旨在通過對象級別的內存讀取提高視頻對象分割的效果和效率。該項目的核心思想是利用高級別的對象查詢來改進視頻中目標對象的表示和分割,與傳統的基于像素級別的內存讀取方法相比,Cutie 在處理分散因素時表現出更好的魯棒性和準確性。 Cutie 項目的亮點在于它采用了一種稱為 query-based object transformer 的技術,這種技術通過對象查詢對高分辨率的像素特征圖進行迭代重構和交互,以此實現準確的視頻對象分割。該框架還包括了一個前景-背景掩模注意力機制,使得前景對象與背景的語義得到了清晰的分離。在挑戰性較高的 MOSE 數據集上,Cutie 相比前作 XMem 在 J&F 指標上提高了 8.7 個百分點,同時保持了類似的運行時間 。 二、Cutie的網站地址:1、GIthub開源:https://github.com/hkchengrex/Cutie 三、Cutie的技術原理:我們提出了 Cutie,一種具有對象級內存讀取功能的視頻對象分割(VOS)網絡,它將內存中的對象表示放回到視頻對象分割結果中。最近關于 VOS 的工作采用了自下而上的像素級內存讀取,這種方法由于匹配噪聲而陷入困境,尤其是在存在干擾因素的情況下,導致在更具挑戰性的數據中性能較低。相比之下,Cutie 通過調整一小組對象查詢來執行自上而下的對象級內存讀取,以便通過基于查詢的對象變換器 (qt ,因此Cutie)迭代地與自下而上的像素特征進行重構和交互。對象查詢充當目標對象的高級摘要,同時保留高分辨率特征圖以進行準確分割。與前景-背景屏蔽注意力一起,Cutie 干凈地將前景對象的語義與背景分開。在具有挑戰性的 MOSE 數據集上,Cutie 在運行時間相似的情況下比 XMem 提高了 8.7 J&F,在運行速度是 DeAOT 的三倍的情況下比 DeAOT 提高了 4.2 J&F。 ![]() 1.初識目標:在視頻的第一幀(就是視頻的第一張圖片)里,Cutie 首先找到你想跟蹤的物體,并記住它的位置和形狀。 2.記憶特點:找到物體后,Cutie 不僅記住了物體的大致輪廓,還會存儲物體的詳細像素信息。這就像是給物體拍了一張身份證照。 3.新幀識別:當視頻繼續播放,出現新的畫面(或稱為“幀”)時,Cutie 會用之前記住的“粗略特征”來快速找到物體。 4.精確定位:找到大致位置后,Cutie 再用之前存儲的“詳細信息”來精確確認物體的位置和形狀。 5.快速準確:因為Cutie 同時使用了粗略特征和詳細信息,所以它能在視頻中非常快速而準確地找到并跟蹤物體。 這樣,無論視頻里的物體如何移動或變化,Cutie 都能準確地“鎖定”它。這在很多場合都非常有用,比如在安全監控、自動駕駛車輛或者醫學研究中。 四、整合包此程序為開源項目,本程序由圈圈整合修改升級,【解壓即用】、【無需登錄】、【無限使用】、【不限次數】、【離線運行】。軟件只要下載到您手上,就可以永久使用。 五、一鍵啟動器雙擊【Cutie啟動器.exe】,輸入視頻,然后點開始執行即可。生成的蒙版在程序的workspace目錄 ● 使用條件 |
|