一年一度的通信盛會MWC 2019結束不久,在5G試商用的背景下,華為、三星、OPPO、小米、SONY、LG等手機廠商陸續推出的5G手機成為了MWC 2019上的亮點。除了5G,手機行業一個不可忽視的趨勢還有AI人工智能。特別是在近年來手機銷售增長放緩、競爭愈加激烈、手機功能同質化的背景下,手機廠商們紛紛在遊戲、屏幕、攝像頭等功能和配置上尋找市場突破口,甚至不惜開啟中高端產品的價格戰。

那麼,在4G下半場,5G到來的黎明前,AI會給手機市場帶來什麼機會?AI會給消費者帶來什麼體驗?

AI相機是最受關注的手機AI功能

根據今日頭條發佈的2018年手機行業營銷白皮書,2018年手機功能營銷的競爭點趨於集中,AI類特性有8個、屏幕類5個、解鎖方式和配色各4個。關注度最高的AI功能集中在拍照、芯片、語音助手三個方面,其中又以攝影類AI功能最多。

來源:今日頭條2018上半年手機行業內容營銷白皮書

AI拍照之所以最受關注,雷鋒網認為,一方面拍照是用戶使用頻率較高的功能,另一方面,以往專業的攝影器材複雜的參數和使用難度也讓攝影門檻始終顯得很高。因此,拍照與AI的結合不僅能降低攝影的門檻,也是吸引消費者的一大賣點。

從各手機廠商的宣傳語也能看出這一點,比如華為的4000萬徠卡三攝,AI攝影大師;OPPO的AI智能拍照,讓美更自然;VIVO的AI智慧拍照,照亮你的美;小米的AI雙攝拍照,拍人更美。

當然,拍照一直是消費者關注手機廠商持續提升的功能,手機廠商也各出奇招。MWC2019上OPPO發佈了10倍混合光學變焦技術,諾基亞發佈了5攝像頭手機。不過可以明確的是,手機拍照的比拼也從像素的比拼轉向攝像頭數量的較量,AI拍照的比拼也已經開始。但市場上的AI拍照手機,無論是從硬件還是軟件看都各有特色,那真AI相機在硬件上是否也可以確定一個標準?

真AI相機的三個標準

圖:相機的常見標準作業流程(來自網絡)

想找到AI相機的標準,不妨從相機的常見標準作業流程入手。如圖所示,光線通過鏡頭進入到傳感器,再經過ADC轉換器將模擬信號轉換為數字信號傳輸給ISP(圖像信號處理器),後續再通過比較、存儲、分析等一系列軟硬件的處理得到照片。

傳感器像素尺寸大於等於1.55微米

大部分人或許對於相機的作業流程並不感興趣,但提到拍照,不少人首先想到的是像素數量,不過可以明確的是現在手機拍照性能的比拼已不再局限於像素數量,而是比拼大尺寸傳感器和單像素尺寸。攝影界有一句流傳很廣的話叫「底大一級壓死人」,這裡的底就是傳感器。

對手機而言,大尺寸的傳感器和更大單像素尺寸都非常關鍵,因為更大尺寸的圖像傳感器和更大的單像素尺寸能夠獲得更多的光線,提升進光量,最終實現更高的畫質。

前幾年,手機使用的傳感器相差不大,那時有不少廠商通過多重拍攝、場景自動識別等方式,以算法和軟件的思路來加強成像質量。隨着索尼傳感器的更新,硬件的提升帶來成像素質的明顯提升,也給了手機廠商更多的選擇。

一款大像素傳感器對手機成像至關重要,為獨立相機、鏡頭和搭載相機配件的移動設備提供圖像質量評估的網站DxOMark的數據就是一個很好的說明。根據DxOMark的最新數據,手機相機評分排名前三的是華為Mate 20 Pro、華為P20 Pro、三星Galaxy S10+,其中華為的兩款新旗艦都使用華為和索尼等聯合連發的IMX 600傳感器,傳感器尺寸達到了1/1.7英寸,是松下CM1之後最大的手機CMOS,單個像素尺寸在1000萬模式達到2μm(微米)。

蘋果一直以軟硬一體見長,並且曾一度是手機拍照的標杆,據悉,iPhone XS Max的主攝像頭傳感器尺寸為1/2.55英寸,單像素尺寸為1.4微米,2月中旬iPhoneXS Max在DxOMark的評分中排名第三,但三星Galaxy S10+以及小米9的發佈后,iPhoneXS Max排名下滑至第五。

其中,Galaxy S10+的主攝像頭傳感器單像素尺寸也是1.4微米的傳感器,相比三星前代旗艦手機取得更好成績的可能與其更好的調教密切相關,不過也位居華為Mate 20 Pro、華為P20 Pro之後,這從一定程度上證明了傳感器大尺寸和大單像素尺寸在提升拍照性能中發揮的作用。

更值得注意的是,目前DxOMark評分排名第四的小米9,4800萬像素的主攝像頭是索尼IMX586傳感器,單像素尺寸為1.6微米。另外,排名第九的華為P20採用的IMX380單個像素尺寸達到1.55微米。除此之外,向魅族15 周年致敬的作品魅族15也使用了IMX380,使用眾多新技術的榮耀V20選擇了IMX586。

來源:DxOMark,3月數據

因此, 1.4微米已經成為主流,而AI相機還在飛速發展,基本可以明確真AI相機傳感器的尺寸至少要1/2.3以上,單個像素尺寸超過1.55微米,才能與AI打配合,完美呈現出真AI相機的畫質和功效。

多核ISP

回到相機常見標準作業流程,傳感器採集了信號和轉換之後會傳輸給ISP處理。ISP(Image Signal Processor)可以對圖像進行降噪、色彩補償、效果優化等。也就是說,ISP就是把前端圖像傳感器輸出的信號做後期處理,將電流信號重新排列組合,輸出一張更為優質的照片。

ISP一般會集成在手機SoC中,芯片級ISP具備性能穩定、功耗可以得到良好的控制的優點。前面已經明確,更大尺寸和更大單像素尺寸傳感器已經成為趨勢,這就需要ISP具備更強的處理能力。與此同時,手機的抓拍、夜拍、高清甚至4K攝像成為主流功能,同樣對ISP體術了更要要求。

AI技術的加入,可以讓ISP性能提升更加明顯,不僅可以大幅度提升手機相機的響應速度,還能夠實現人臉識別與自動場景的識別等複雜功能。除了加入AI技術,雙核甚至三核ISP也是真AI相機的標準之一。

以聯發科Helio P90為代表,Helio P90具備三核ISP,並首創支持3個ISP同時開啟,實現最高4800萬像素廣角+1600萬像素超廣角+800萬像素變焦三顆攝像頭的搭配配置,並進行三焦段光學變焦的無縫切換。

據雷鋒網了解,Helio P90搭載的Imagiq圖像信號處理器是聯發科技自研的ISP技術,2018年2月發佈的Helio P60就已經採用了三核ISP,通過硬件偵測人臉、進行更複雜的降噪處理、全像素多核對焦、實時提供景深信息等。

聯發科技Imagiq技術

Helio P90的ISP性能更強,處理圖像的能力也就更強,意味着Helio P90能夠還原更真實的色彩、更豐富的細節、更出色的亮度,帶來更快的自動對焦以及更清晰的圖像。據悉,藉助多項技術的堆疊,Helio P90大幅提升了夜間降噪的技術,可以使信噪比提升 25%,大大增強了出片質量。

AI性能跑分≥21000分

更好的圖像傳感器和更強的ISP可以提供質量更高的圖像,這是AI相機不可或缺的部分,既然是AI相機,強大的AI性能才是體現相機AI特性更關鍵的部分。要理解AI與相機的結合,可借用夜拍的例子。比如用搭載Helio P90的手機在夜間進行拍照時,AI會預先分析背景的物體和光線,顯示鎖定拍照主體來保證整體效果,緊接着開啟AI對畫面噪點和明暗度的調整,按下快門時,系統實際上已經預先完成了大量的畫面計算和噪點分析,並進行智能化像素補充,實現了AI降噪。

與此類似,手機的AI美顏、AI雙攝、AI人像模式等都需要藉助AI來實現。那麼,多強的性能的SoC才能達到真AI相機的標準?參考目前手機行業內比較認同的是來自於有着「歐陸第一名校」之稱的蘇黎世聯邦理工學院(ETHZ)的AI-Benchmark榜單,該榜通過核心的8項測試來評估眾多神經網絡架構以及AI運算能力的表現。

數據來源:AI-Benchmark

AI-Benchmark的最新數據顯示,排名前三的平台分別是驍龍855、Helio P90、麒麟980,跑分分別為27356、25654、21526,這三款處理器也是高通、聯發科、華為最新且強調AI性能的手機SoC。

根據官方的說法,麒麟980的NPU比上代麒麟970 NPU快2.2倍,驍龍855的AI性能是前代驍龍854的3倍。更值得注意的是,Helio P90搭載的是經過升級的APU 2.0,相比搭載APU1.0的Helio P70和Helio P60 AI性能提升達4倍,AI算力最高可達到1127 GMACs(2.25 TOPs)。

每一款手機AI處理器都在提升,由此帶來的是競爭更加激烈的手機AI性能競爭。因此,AI性能跑分大於等於21000分可以視為AI相機的第三個標準。

還需指出的是,除了硬件的標準,軟件和算法也是真AI相機的重要組成部分。

真AI相機到底帶來了什麼不同?

那真AI如何轉換為可感知的體驗,讓AI相機帶來不一樣的拍照體驗?聯發科Helio P90 AI跑分大於等於21000分,集成三核自研ISP,且支持單像素尺寸大於等於1.5微米的傳感器,無疑是真AI相機,因此我們通過Helio P90已經實現的多種AI拍照功能來感受真AI相機帶來的更好體驗。

首先是AI抓拍,通過AI噪點訓練、14-bit高動態範圍ISP和AI多幀降噪處理,Helio P90的真AI相機抓拍時能優化去噪算法和參數,在縮短曝光時間達到3毫秒水準的同時,最大限度保留了畫質的純凈,不會出現相片殘影、噪點密布的情況。

接下來是AI夜拍,針對不同的攝像頭傳感器在低光下的成像特徵和噪聲分佈進行優化,並結合ISP特性優化去噪算法和參數,再進行多幀對齊的智能合成算法,生成高亮度、低噪點、真色彩、保留最佳細節的結果圖,最終畫質上達到類似傳統相機ISO降2-3檔的效果。

還有AI視頻景深,依託強大的AI算力,結合AI算法,真AI相機可以實現高達1080P分辨率下30FPS的AI視頻實時景深功能。

AI焦點直播則可以在直播過程中憑藉AI邊緣計算,調動底層硬件並結合算法,從而達到在網絡帶寬有限的條件下,實現重點區域編碼,優化直播主體特徵,呈現更清晰的細節,雷鋒網了解到聯發科正與一些視頻平台協商合作。

AI人像留色通過AI加速、浮點定點運算技術,實現了實時人像留色。

AI美體通過硬件與AI算法深度的結合,實現減肥、長腿、提臀、收腰等多種功能實時美體。

AI人臉偵測通過快速偵測反應,準確判斷位置、角度、性別等信息。根據Helio P90發佈會上演示的視頻,在對一位戴聖誕帽的男性進行識別時,A12 Bionic用了198ns、麒麟980用了924ns、Helio P90隻用了132ns,並且Helio P90還實現了性別的檢測。

AI人體姿態識別追蹤是強勁的AI算力結合算法,精準識別多人快速移動姿態,可結合AR場景,實現創新的人機互動應用,我們知道VR/AR也是未來的技術發展方向。

還有AI識物,真AI相機可以對多件物體同時進行快速、精準的識別與追蹤。

雷鋒網小結

手機競爭更加激烈的背景下,手機廠商期待5G、摺疊屏、AI成為吸引消費者新的功能點,對於普通消費者而言,MWC上在玻璃盒子里展示的摺疊屏手機顯然離成熟還有很長的路要走,而5G的商用也要等到明年。因此,在4G下半場,AI可以被視為手機市場的「救命稻草」。隨着AI手機逐步推向市場,AI攝影成為了最受關注的手機AI功能也是剛需,AI相機行業門檻也急需確立。

圖像傳感器像素≥1.5μm,AI性能跑分≥21000分,多核ISP是聯發科給出的真AI相機的三大技術標準。可以看到,符合上述三個標準的Helio P90帶來的AI拍照應用不僅能提升用戶體驗,解決目前手機拍照的用戶痛點,更能為用戶帶來更多的拍照樂趣。

廣告