|
并且由于手機拍照自身的特殊性，ISP的地位相比相機的影像處理器來說高得多。對于相機來說ISP甚至可以不需要（傳感器有輸出RAW文件的能力，然后直接以無壓縮RAW格式記錄，后續(xù)做后期處理即可），但是手機不行，直出和各種功能是手機相對于相機最大的競爭力之一，這對于CIS和ISP的配合要求就非常重要。換句話說，CMOS的輸出必須能夠匹配手機CIS的支持格式，不能像封閉的相機系統(tǒng)那樣為所欲為。 綜合上述兩種原因，我們可以在手機CMOS上看到很多在相機中未曾使用過的騷操作，這些技術有些會隨著大尺寸制造的成熟而用在幾年后的相機上，有的不會。所以了解一下手機CMOS的最新技術，對于影像產(chǎn)業(yè)發(fā)展方向的預測和分析，也是大有幫助。 近期手機影像圈比較火熱的兩款CMOS產(chǎn)品毫無疑問就是索尼IMX586和三星S5KGM1，也就是所謂的“真假4800萬像素”之爭。借著這兩款產(chǎn)品正好這一次也跟大家從我的角度分析一下“真假4800萬像素”這個問題，同時順便展開說一些其它的東西。 要討論真假4800萬像素，自然就得先梳理一下“什么是像素”這個最基礎的定義問題?？赡軐τ诖蟛糠秩藖碚f，（圖像傳感器的）像素就是下面圖上所示的一個個點： 圖像傳感器上的每一個點（光電二極管）就叫作1個像素，有多少個點就叫多少個像素。這個數(shù)值決定了傳感器的分辨率，所以一直以來就是圖像傳感器的基礎參數(shù)，無論對于手機還是相機來說都是如此。 按這個標準來說，索尼IMX586和三星S5KGM1都是毫無爭議的4800萬個光電二極管： 但直接用像素數(shù)量來對比分辨率的話實際上是需要一個前置條件的，那就是：被對比的圖像傳感器采用相同的像素排列方式。 索尼IMX586和三星S5KGM1采用的都是被叫作Quad-Bayer的像素排列，跟傳統(tǒng)拜耳陣列（最上面那個圖）相比相當于是把原本1200萬Bayer陣列的傳感器像素一分為四，從光電管數(shù)量上來說是4800萬沒錯，但要說它跟拜耳陣列的4800萬像素一樣，那也不太對。 可能關注手機圈比較多的粉絲會清楚手機圈經(jīng)常在屏幕上提到“等效ppi”的概念，目的就是把不同排列方式的屏幕像素都換算成標準RGB格式的屏幕像素來進行比較。但在圖像傳感器領域，因為拜耳陣列占據(jù)了絕對的統(tǒng)治地位，很少有廠商或者媒體去考慮不同排列之間換算的這個問題。 而且實際上屏幕輸出的像素就是你看到的那些，但相機傳感器輸出的圖像可能會被經(jīng)過欠采樣插值之類的操作，這就使得這個問題進一步復雜化了。 不過了解一些鍵攝常識的同學或許可以想到，通過信號學的思路，我們完全可以從“空間采樣頻率”來出發(fā)去定義一個等效像素，這樣的話既可以統(tǒng)一不同方式的像素排列產(chǎn)生的影響，又可以規(guī)避后期插值產(chǎn)生的問題。比如一塊5000萬像素、無低通濾鏡的拜耳陣列圖像傳感器，明度采樣頻率由綠色像素決定，其上有2500萬個實際的綠色采樣點，所以有2500萬等效像素。 適馬SD1 Quattro的Foveon X3傳感器明度采樣頻率由最頂層的藍色像素決定，一共有1960萬個藍色像素，所以等效像素1960萬； 索尼A7R3通過四幀“搖搖樂”輸出的一張照片里有4240×4/2=8480萬個綠色像素來執(zhí)行明度采樣，所以等效像素8480萬（這是一個實際像素、等效像素和輸出像素三者不相等的典型案例）。 當然更典型的案例就是視頻，視頻由于標準編碼格式的限制大家輸出的大小尺寸都一樣（比如4K 16:9就都是3840×2160），但是參與采樣的像素數(shù)量可以不一樣（也就是所謂的“超采樣”）。同理我們可以定義索尼a7m3的4K視頻等效像素為1012萬，佳能EOS R的4K視頻等效像素為415萬，所以a7m3的4K視頻清晰度遠好于EOS R。 當然了，這個等效像素的定義基于以下的兩個前提： 1、人眼對色度通道信息不敏感，對細節(jié)的分辨主要取決于明度。 2、忽略各種排列的反馬賽克算法不同造成的影響。 以及一個之前反復強調但是還要再說一次的事情：（對于理想傳感器、同樣的輸出幅面而言）高ISO畫質與本節(jié)定義的等效像素無關，獨立取決于傳感器的總面積。 所以要嚴格對比圖像傳感器畫質的話這種方式并不適用，但是做簡單的定性分析完全OK，所以我們就按照這種思路，來看一下索尼IMX586和三星S5KGM1。 實際上對于PD/CFA層來說三星S5KGM1與索尼IMX586完全相同，都是同樣的RGGB×4 Quad-Bayer排列。FD和ADC以及附屬電路部分由于兩家的技術差異存在不同，但這不是今天要討論的重點。 我們前面說了，對于手機CIS來說，與手機ISP的配合是非常重要的。這兩種傳感器的Quad-Bayer屬于特殊排列，但繞不開的問題是由于拜耳陣列占據(jù)了多年來的絕對主流，現(xiàn)在絕大部分的手機ISP都只認Bayer而不能直接識別Quad-Bayer輸出的信號，在下一代原生支持Quad-Bayer的ISP出現(xiàn)之前，這兩塊手機CIS都是通過被叫作“Remosaic”的的方式，將Quad-Bayer信號轉換成標準拜耳陣列，給手機ISP進行處理。 但具體實現(xiàn)的方式存在很大不同，這也是所謂“真假4800萬像素”爭端的起源。 三星S5KGM1的實現(xiàn)方式比較簡單粗暴，直接把Quad-Bayer的像素四合一輸出，此時實際輸出的就是1200萬像素的RGGB信號，對于ISP來說是透明的，跟使用一塊普通的1200萬像素CIS（比如IMX380）并沒有什么不同，等效像素都是600萬，當然也實現(xiàn)不了什么額外的功能。 至于紅米note7的4800萬像素模式？沒人規(guī)定600萬等效像素的CIS不能輸出4800萬像素的照片啊。 索尼方面官方給的信息比較模糊，甚至會給人一種“像素重排黑科技”的感覺。 什么中間過程都沒有，突然4800萬像素Quad-Bayer就變成了4800萬像素Bayer，是不是特別神奇？ 當然了，這種玩魔方式的CFA位移是不可能的，地球上還沒有這么黑的黑科技，那它具體是怎么實現(xiàn)的呢？有效像素是多少呢？ 通過某種非四合一Quad-Bayer轉Bayer的Remosaic算法我們可以初窺端倪： 首先找到十字形的一組綠色Quad-Bayer像素 根據(jù)這四組像素的數(shù)據(jù)補齊另外的五組像素，得到一個6×6的陣列 摳掉一半像素變成拜耳陣列的綠色基底 紅藍色像素類似處理
摳掉原來綠色像素占的區(qū)域
合成，變身成功
這個圖示里的插值算法是Cubic Spline36（三次樣條曲線36），實際可能受限于算力會有所出入但是像素層面的操作基本一致，每6×6=36個像素里實際空間采樣的綠色像素為2×2×4=16個，也就是說4800萬像素的、帶有類似Remosaic算法的Quad-Bayer IMX586，其等效像素可以認為約4800×16/36=2133萬，相比直接四合一輸出的三星S5KGM1的600萬等效像素而言高了很多，而且這整個過程都是集成在CIS里的小型DPS完成的，輸出的信號格式是4800萬的Bayer Pattern，對于ISP來說完全透明，只需要ISP支持4800萬像素拜耳陣列的傳感器就可以使用，無需等待ISP支持Quad-Bayer，就可以享受高像素傳感器帶來的福利。
圖源：Bilibili 愛搞機 三倍多的等效像素差異之下，即使是手機的針孔鏡頭差異也是非常明顯的。當然了從上面的分析中我們也可以看到即使是內建帶內插法的Remosaic，其實際等效像素也還是不如傳統(tǒng)4800萬像素的拜耳陣列（等效2400萬像素），考慮到內建DSP的效能有限，這個內插過程應該用的是比較低級的線性插值方法來做的，精度方面會有進一步損失。不過好處就是不需要專門為了Quad-Bayer去定制ISP，用普通支持高像素拜耳陣列的ISP就可以，無形當中相比IMX600，IMX586降低了這種高像素手機CIS的使用門檻，讓更多人可以享受到科技帶來的福利。 所以回到開頭的問題，索尼IMX586和三星S5KGM1到底誰是真4800萬誰是假4800萬？ 或許比較嚴謹?shù)慕Y論就是，大家都是真正有4800萬像素（PD/CFA）的傳感器，只是為了兼容現(xiàn)有的手機CIS，輸出正常拜耳陣列信號的方法不同，導致最終的效果存在比較大的差異。 還有一個懸而未決的疑問就是三星S5KGM1到底有沒有直接輸出4800萬像素Quad-Bayer信號的能力，還是只能輸出四合一的Bayer信號？這或許只能等后續(xù)支持Quad-Bayer的ISP+三星S5KGM1 CIS組合的手機出現(xiàn)才能知道了（或許永遠都不會有）。 實際上在相機領域Quad-Bayer CFA也不是什么新鮮玩意，之前松下GH5S上的IMX294就是一塊m43尺寸的Quad-Bayer CMOS，但目前相機領域的Quad-Bayer主要還是為了實現(xiàn)獨立曝光時間控制的實時HDR效果，因為相機的ISP和CIS可以一對一選擇搭配，對于相機來說實際上不太需要Quad-Bayer轉Bayer這種多此一舉的東西：
而且相機的像素尺寸比較大，目前而言暫時不會摸到0.8μm這種會接近量子效應下限的程度，對于四合一大像素模式這種也沒什么需求（不如自己回去縮圖，自己縮圖是帶完整的空間采樣信息的），所以除了這種實時HDR之類的特別需求之外，目前仍然是拜耳陣列占據(jù)絕對主流，Quad-Bayer是有代價的，并不如直接上一塊高密度的拜耳陣列傳感器更好用（有需要的時候拜耳陣列也完全可以做binning或者像素合并輸出）。 但通過這塊IMX586我們對于相機行業(yè)也不是全無展望，從IMX586上我們可以看到目前量產(chǎn)CIS的集成度又更進了一步，從當年只有模擬電路的普通CMOS，到每行都內置ADC的Exmor CMOS，再到背面照射式、集成多種輸出模式的Exmor R，再到集成DRAM的Exmor RS，然后到現(xiàn)在集成DSP，具有初步信號處理輸出功能的傳感器，CIS的集成度越來越高，功能越來越多，可以實現(xiàn)的東西也越來越有意思。這樣的話對于傳感器設計、制造，相機產(chǎn)品設計制造和用戶來說算是三方利好，首先傳感器設計可以越來越模塊化，可以去嘗試不同的組件方案而無需考慮后端ISP的支持問題，手機CIS這個試驗田也可以拿來試驗更多的東西。對于制造相機的廠商來說CIS集成了越來越多的功能，外部可以做得更簡潔功耗也會有一定幅度的下降（當然這會不會導致索尼相機部門從索尼半導體方面獲取更多的黑箱福利還很難講）。對于用戶來說那當然是科技創(chuàng)造藝術啦，希望越來越高集成度的CIS能夠再掀起一次當年D800和A9給我們帶來的驚艷和帶來更多的創(chuàng)作便利吧。 蘭拓信用免押金租賃功能終于來了！ |
|
|
來自： peterchiu60 > 《Camera》
