尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
最近看到生物學教授王立銘的一個有趣假設，他說，假如存在外星高級智慧生物，那麼它大概率和人類一樣是用眼睛來感知外部世界的。
為什麼這麼說呢？因為視覺資訊，也就是光這樣的電磁波，是所有感知資訊中反映環境變化最準確、承載環境資訊最豐富的通道。但凡智慧生物，如果不是生活在黑暗地下或者是幽冥深海，基本上都會依靠視覺資訊來捕食和逃生。
因為光是宇宙中最普遍的存在，不需要具體介質（空氣、水等）也能直線傳播，能夠充分準確、及時的反映出空間和物體的資訊，比聲音、味道、觸覺所承載的資訊量大多了，同時也穩定多了。
這一假設從人類制造的智能設備中也可以得到驗證。以智能手機為例，其最主要接收到的兩類資訊，一個是圖像，一個是聲音。聲波的輸入和輸出，作為電話最初的功能，發展至今技術已臻於完善，只能在音質穩定性長進行小打小鬧地改善。
而圖像已經成為智能手機最核心功能，其拍攝技術和圖像質量在不斷升級，其所產生的數據也占據了手機最多的記憶體資源，也成為各種應用最主要的數據源頭。
事物的影像通過光的反射進入眼睛當中，視網膜上的感光細胞就可以檢測到這些光的強度、角度和位置，從而引發生物電信號，最後傳遞給大腦神經細胞進行視覺圖像的成像，才讓我們看到和記住看到過的事物。
和生物視覺的實現方式一樣，圖像視覺的處理過程也基本按照這一過程實現，包括收集光源的鏡頭、將光信號轉化為電信號的圖像傳感器、對圖像電信號進行數字處理的ISP晶片以及現在能對圖像進行進行分析識別的當紅辣子雞的AI晶片。
在我們每一天拿起手機隨手拍照、照相的過程中，這些不起眼的設備都在進行著每秒數以億次的龐大計算，才能讓我們擁有五光十色的拍攝效果。
在圖像技術一直逼近甚至挑戰人類的視覺能力極限的過程中，ISP晶片發揮著至關重要的作用。本文我們主要關心下ISP的技術邏輯、ISP技術產業現狀和發展趨勢。
光的美顏師：ISP的運行邏輯
ISP，即「Image Signal Processor」（圖像信號處理器）的縮寫，是用來對前端圖像傳感器輸出信號進行處理的單元。通俗來理解就是，ISP 所要做到的就是將「數字眼睛」的視力水平提高到「人類眼睛」的水平，讓人眼看到數字圖像時的效果盡可能接近人眼看到實景時的效果。
一個ISP其實是一個SoC核心，內部包含CPU、SUP IP、IF 等單元，可以運行各種算法程序，實時處理圖像信號。ISP的控制結構由ISP邏輯和運行在上面的Firmware兩個部分組成，邏輯單元除了完成一部分算法處理外，還可以統計出當前圖像的實時資訊。Firmware 通過獲取ISP 邏輯的圖像統計資訊進行重新計算，反饋控制Lens、Sensor和ISP邏輯，以達到自動調節圖像質量的目的。
（圖源：CSDN《ISP圖像信號處理算法概述》，下同）
根據專業人士的介紹，ISP的具體處理流程是這樣：Lens 將光信號投射到sensor 的感光區域後，sensor經過光電轉換，將Bayer 格式的原始圖像送給ISP，ISP經過算法處理，輸出RGB空間域的圖像給後端的視訊采集單元。在這一過程中，ISP通過運行在其上的Firmware固件對ISP邏輯，從而對Lens 和sensor進行相應控制，進而完成自動光圈、自動曝光、自動白平衡等功能。其中，Firmware的運轉靠視訊采集單元的中斷驅動。PQ Tools工具通過網口或者串口完成對ISP 的在線圖像質量調節。
ISP的算法處理，可以對Bayer圖像進行黑電平補償 （black level compensation）、鏡頭矯正（lens shading correction）、壞像素矯正（bad pixel correction）、顏色插值、Bayer 噪聲去除、 白平衡（AWB） 矯正、 色彩矯正（color correction）、gamma 矯正、色彩空間轉換（RGB 轉換為YUV）、在YUV 色彩空間長進行彩噪去除與邊緣加強、色彩與對比度加強，中間還要進行自動曝光控制等，然後輸出YUV或者RGB格式的數據， 再通過I/O接口傳輸到CPU中處理，進行圖像的存儲和顯示。
用我們拍照時常說到，就是圖片的銳化、降噪、優化色彩等都是在ISP中處理完成的，而且ISP還肩負著實現相位、激光、反差等混合對焦運算以及提供對多照相頭支持等重擔，是手機拍照中必不可少的關鍵一環。
最終我們看到，ISP晶片就像一個光的美顏師一樣，使得我們在按下快門的一剎那獲得如此多的畫質調節和改善，也能在拍攝前主動地選擇各種拍攝場景模式，進行各種拍攝參數的微調，讓每個人都能成為影像大師。
成為移動終端圖像處理核心：ISP的產業躍遷
ISP的出現是和人類對拍攝圖像的高質量要求密切相幹的。
NASA對月球進行勘探時，發現模擬相機在月球上拍攝的照片十分微弱不清，無法反映真實情況。此後美國發展出的CCD圖像傳感器解決了這一問題，為了確保CCD拍攝的圖像能夠清晰和真實地顯示，就需要對CCD采集的圖像進行處理，這樣ISP圖像信號處理器得以誕生。
隨好康碼相機和照相機的廣泛應用，ISP技術也得到了快速發展。在推進高清視訊、圖像產品的過程中，ISP技術的創新發揮了巨大作用，ISP也從高清照相機的輔助技術逐步演變為關鍵核心技術。一些高清監控硬件廠商為進一步提升畫質，開始將CCD傳感器替換為CMOS圖像傳感器，這樣就將ISP內置到CMOS中，在節約空間的同時也降低了功耗。
因此，這一創新使得高清照相機市場實現了從模擬到數字信號的升級。一般來說，不同的ISP匹配不同廠商的CMOS圖像傳感器，大部分內置ISP功能的視訊晶片對CMOS晶片的支持都比較完善，可以直接對接各主要廠商的主要產品，使得照相機體積更小、產品形態更多，不僅推進在高清照相機上高清SoC晶片的研發，也讓CMOS和ISP的組合在移動智能設備中廣泛普及。
現在，每一款配備照相頭的行動裝置都搭載了ISP晶片。不過對於很多國內智能手機廠商而言，他們通常會宣傳自己的產品採用了SONY的CMOS圖像傳感器，甚至給出這一感光元件的具體型號，還給出一個多鏡頭陣列的分解圖。但是消費者在拿到手之後，用它拍攝出來的照片並不能如預期的那麼好，其中一個很大的原因就是ISP，就在於這些廠商雖然拿到了高品質的光學和感光元件，但是ISP沒有能夠跟上。
現在，主要的智能行動裝置的晶片廠商、IP提供商以及智能手機制造商都在推出自己的ISP晶片，但是ISP仍然存在著較大的技術壁壘。
首先，ISP中大量模塊的算法是相互影響的，其眾多算法需要諸多的調校工作在其中，這需要大量而長期的經驗積累。
其次，作為商用的ISP，需要眾多的新功能模塊，比如X-talk串擾，VSM等模塊的加入，這也增加了ISP的技術壁壘。
另外，ISP的技術需要長期積累，需求少、學習周期長，人才匱乏。因此ISP人才團隊組建也是一個考驗公司投入力度、技術積累的剛性條件。
這讓領先的ISP技術更容易被那些有先發優勢、多年積累的晶片大廠和老牌制造商，比如蘋果、高通、三星、聯發科等大廠所掌握。
但越來越多的手機晶片廠商開始自研ISP和算法，華為海思就是從麒麟950開始集成自研的950晶片，使得華為P9開始躋身主打攝影拍照手機的第一陣營。
作為全球移動CPU晶片核心IP提供商的ARM也在2018年推出了首款ISP晶片，最初是面向汽車設備的移動影像處理，隨後又推出了兩款針對移動終端和物聯網設備的ISP晶片全新ARM Mali-C52和Mali-C32。ARM的ISP在處理每一像素時會有超過25個步驟的處理，其中包括高動態範圍(HDR)、降噪以及色彩管理的三個關鍵步驟對圖像輸出質量起到了決定性的影響。
根據極術社區的消息，12月3日，安謀中國最新發布了「玲瓏」i3/i5 ISP處理器。這一安謀中國本土團隊自主研發的首款產品，在降噪、清晰度和寬動態等指標上達到業界領先水平，具有高畫質、低延時、可配置能力強、擴展兼容性高等特點，可廣泛適用於安防監控、AIoT 及智能汽車等領域的視訊、圖像處理工作，能夠滿足不同場景的多樣化數據處理需求。
我們注意到，在對這些ISP產品的梳理中，圖像信號處理和AI視覺處理正在協同發展，既要「可看」又要「看懂」的圖像處理，成為未來視覺設備發展的關鍵。
新機遇：視覺處理器與ISP晶片的共生共成
人工智慧技術作為全新的技術變革要素進入到成像產業領域，使得圖像的處理和計算迎來更多的挑戰，現在除了ISP晶片之外，還需要加入具有AI能力的視覺處理器（VP）晶片。
現在，ISP晶片處在低速穩定的增長階段，而VP晶片則呈現爆發式增長。
根據Yole的一份市場統計，VP晶片從2018年至2024年期間的復合年增長率（CAGR）高達18%，預計2024年將達到145億美元規模。同時，ISP晶片保持低速穩定增長態勢，2018年至2024年期間的復合年增長率僅為3%，預計2024年將達到42億美元規模。
現在，我們攜帶的移動智能設備和IoT設備中，對於圖像的處理和計算，不僅僅要實現「查看」的功能，看要實現「分析」的功能，因此，圖像硬件廠商越來越多的要在硬件系統中加入支持人工智慧算法特別是深度學習的軟體集成，從而讓圖像硬件系統超越「拍攝圖像」的限制，能夠實現「分析圖像」的能力。
對於我們消費者而言，最主要的感受就是智能手機的人臉識別以及現在一些手機照相中具有的AI美顏以及拍照識物的功能。而在眾多智能視覺領域，VP+ISP的融合已經掀起了一場全新的智能化變革。正如安謀中國最新的「玲瓏」ISP處理器的發布，未來可以適用於安防監控、AIoT 及智能汽車等領域的視訊、圖像處理工作，滿足不同場景的數據處理需求。
因此，視覺處理器的爆發式發展，與ISP產業的發展是並行不悖的，因為想要實現智能視覺，就必須考慮選擇適合的前端圖像處理方案。如果前端圖像處理的輸出非常糟糕時，那視覺處理系統的結果也會非常糟糕。
智能視覺系統必須要有可靠的輸入才能產生可靠的結果，這正是無法離開一顆強大的ISP的根本原因。