尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
iPhoneX已經在人工智能領域邁出了一大步。
記者會之後，網友紛紛表示新一代蘋果毫無新意，然而Ai銳見可不這麼認為！
像素級圖像分割、精準的人體關鍵點檢測，新iPhoneX集人工智能前沿技術於一身，難怪售價這麼高！
2018年9月13日凌晨三點鐘，國內果粉們頂著困意看完了發生在一萬公里外的蘋果秋季記者會。記者會上，蘋果拿出了三款搭載A12生化（Bionic）晶片的全新蘋果手機和新一代蘋果智能手表（具體產品可以點擊Ai銳見13日凌晨發文：能救命的Apple Watch和雙卡雙待的iPhone來了，你準備好了嗎？）。
新發布產品種最高端的iPhoneXs Max頂配在國內售價破萬元，堪稱史上最豪華陣容。保留了瀏海屏、沒有吸人眼球的外觀設計，單單升級處理器和記憶體， 為什麼這次iPhone售價如此之高，抱著疑問，Ai銳見從頭到尾仔細研究了兩個小時記者會全過程之後，才理解了蘋果煞費苦心。
像素級圖像分割、精準的人體關鍵點檢測，新iPhoneX集人工智能前沿技術於一身，難怪售價這麼高！
當介紹到iPhoneXr的錄影功能時，席勒這樣說：
他表示，原生錄影做了個聚焦功能，然後效果是這樣的：
一張神似出自單反相機的人像，但實際是算法處理出來的，原先很多手機都有這個功能。就這張圖可以說，人物邊緣選擇非常精準，效果驚艷。看似和國產高端機拍出來的效果沒啥區別，實際上這裡面大有學問：
敲黑板！Mark重點：景深錄影
來看一張普通雙攝智慧型手機（20MP+16MP）拍攝「大光圈」效果後得到的景深可調圖像：
乍一看整體效果非常棒，幾千元的雙攝手機派出了單反的效果，但是我們注意到了細節：
如果後期處理算法沒能檢測出物體的邊緣準確位置，那麼加入景深效果就會如上圖所示。
也就是說，為了達到單反大光圈的景深攝影，單單使用大光圈、高像素、雙攝的手機，達不到攝影愛好者的要求。
一張由12MP、f/1.8光圈手機單錄影頭完成的圖像，如果我們仔細觀察這張照片的細節，會感嘆新一代iPhone的處理能力
景深攝影，是手機ai錄影的一道坎，卡在了算法和算力（運算能力）。
蘋果官網也對深度圖進行了一句話的簡單介紹：
那麼，這項手機錄影技術的核心技術在哪裡？
敲黑板！Mark重點：像素級語義分割
不得不提高iPhoneXr另一項特技：一鍵換背景
iPhoneXr的一鍵換背景功能，可以讓用戶完成人像背景百變。
為什麼說這兩項功能很強大？首先看兩者有共同的算法原理：像素級語義分割。
什麼是語義分割？正如下圖：
(a)原圖，(b)語義分割
(c)實例分割，保留實體，去除背景
(d)全景分割，分割全部，同類物體也區分
語義分割，一項用於計算機視覺最前沿的算法，目前廣泛用於基於錄影頭傳感的自動駕駛系統：錄影頭采回來的影像通過語義分割，讓汽車分辨前方的車輛、行人、路牌等。分割嘛，區分不同物體。人的腦袋中也自帶這種算法，只不過我們平時不會注意到它的存在。
像素級的語義分割，顧名思義，就是將場景分割效果細致到像素點。這種算法在自動駕駛汽車上要求達到1ms級的響應速度，很難做到手機這樣的分割效果，但在手機上幾秒鐘之內圖像分割就可以有很好的用戶體驗了。
發表於2017年的ACM Multimedia會議上一家中國研究團隊的工作成果，通過像素級語義分割，做到傢俱圖片背景的一秒更換，未來可以給購物者多方位的產品視覺參考。
一鍵換背景
甚至還可以結合臉部檢測做到「一鍵換美裝」
然而目前這些功能還應用在PC端或者是借助雲計算的力量來做到。
基於A12的新一代iPhoneX，是革命性的：因為，以上複雜算法都可以在一台手機上完成。
注意後三個處理步驟：臉部檢測、臉部標界、分割
iPhoneXr的「一鍵換背景」、景深錄影，真正達到了：
「原先只能通過搭建攝影棚或花時間PS出來的照片，現在只要幾秒種。」
大部分攝影師做到的高質量圖像效果，只要借助iPhoneXr在一秒之內完成！
然而，iPhoneX還有一重大舉措：開放出基於人工智能的應用開發平台。
另一項炫酷的第三方應用程序HomeCourt，在iPhoneX系列上做到了下面這個功能：
人體骨骼關鍵點檢測（Pose Estimation）
人體骨骼關鍵點檢測的目的是讓機器「看到」人的行為，在視頻監控領域，該項技術被用於檢測畫面中人的特殊行為；機器人配備了這項能力則可以對用戶「察言觀色」，是智能人機交互一大進步。蘋果的搭載A12處理器為新一代具備人機交互的智慧型手機提供了一個應用程序平台。
基於A12開發的應用代表之一：HomeCourt
iPhoneXs記者會視頻中，黑色上衣男子起跳投籃，HomeCourt繪制出了該男子的體態點線圖。旁邊負責輔助訓練的白衣男子並未被檢測分析，說明這個應用程序可以自定義跟蹤被檢測對象。
行為檢測是一項非常具有挑戰的任務，堪稱在人工智能一塊「難啃的骨頭」。實際生活應用行為檢測功能不那麼容易，視覺信息提取設備需要兼顧場景中複雜的光線、動態的人物、突變的姿態，實時檢測的算力瓶頸也限制了這項功能的移動端化。實驗表明，為了讓機器區分人的多態行為，至少需要繪制13個關鍵點，這些關鍵點分布在人體關節、腕部、頭部等。
2015年Leonid Pishchulin等人發表《DeepCut: Joint Subset Partition and Labeling for Multi Person Pose Estimation》，這篇文章基於CNN（卷積神經網路）提出了有別於先前檢測策略，可以分辨場景中距離相近的多個人的肢體行為。這篇文章影響廣泛，具有相當大的啟發性，為近幾年的姿態檢測研究奠定了一個方向，即將深度神經網路與行為檢測相結合。
基於CNN訓練出來的模型，準確率領先傳統算法一大截
（圖片來自CSDN，題目《人體骨骼關鍵點檢測綜述》，作者 SIGAI_CSDN）
在蘋果的這款應用程序中，我們也可以看到這項技術的優勢體現：準確的檢測目標的行為和姿態。
當然，這項技術得以在移動設備上做到，與A12適用於神經網路運算能力密切相關。
行為檢測算法的研究在深度神經網路的應用下突飛猛進。公共安全領域的行為檢測技術已經幫助監控系統識別行動可疑的人物，或是發現需要緊急幫助的人，例如老人摔倒、心臟病突發者，甚至是走失的兒童。
百度雲計算提供在線人體關鍵點檢測平台
各大雲平台也在布局人體行為檢測的服務，例如百度、阿里雲、曠視科技（Face++）。
同樣的，蘋果這次升級的AR平台也將在AppStore大有市場。
甚至可以與好友在AR遊戲中合作
渲染相當棒的大型3D遊戲畫面，畫質堪比家用遊戲主機
有沒有發現以上圖片中出現的功能之間的共同點？
那就是 : 高負荷圖形計算壓力。
也就是說，為了做到絕大部分功能的實時化處理，蘋果為此搭載的A12處理器才是產品發布的核心。
A12才是最大賣點
這些軟體處理的背後，你會發現一個關鍵詞匯：神經網路。如果要加上一個修飾詞，則是深度神經網路。
因為當下手機圖像相關的功能非常依賴基於深度神經網路的後期處理，所謂ai晶片即內部架構是為了適用於運算神經網路數據而設計的特殊的運算核心，這就是為什麼華為這樣的大廠會將目標定為開發新一代手機Ai晶片。單一的為CPU搭配個GPU已經不能滿足優質的照片處理需求。
實際上去年華為和蘋果已經打響了手機ai晶片的戰爭，蘋果推出A11搭載在去年最新的iPhoneX上，同時將自己最新的處理器命名為A11 Bionic，主要就是因為其內置了人工智能「神經引擎」。華為緊隨其後，高調推出麒麟970，制式10nm，性能為上一代960的兩倍，官方稱這款國產芯在CPU、GPU基礎上還搭載了一個強大嵌入式神經網路處理器NPU。
去年麒麟970記者會
然而，這麼快的CPU，和用戶有什麼關係？這個問題留給華為在未來發揮。
實際上，拿13日蘋果記者會相比麒麟980的問世，我發現了兩個有趣的現象：
一、華為7nm一出，周邊合作廠商的股價上漲
二、蘋果7nm一出，蘋果公司股價微跌（北京9月13日）
三、蘋果發布第二天（北京9月14日），股價回漲
實際上，無論7nm還是14nm，手機真正能帶給用戶的：是體驗；速度，只是體驗的一部分。
從圖像處理到內嵌人工智能模型的應用程序，蘋果最新iPhone系列產品都在嘗試容納最前沿的算法技術，不僅是FaceID，iPhoneX系列常用原生功能都開始需要借助A12強大的神經網路計算功能。在發布之後App開發商也會進一步借助A12的特性，設計出原先我們想像不到的應用程序。
蘋果目的時通過A12打造新開發者生態圈，原先只能通過雲計算做到的運算量現在放到了新iPhoneX上做，做到了實時的智能檢測，可以說做到了很多原先不可能的app功能。未來能夠做到出類拔萃的app開發商也會圍繞著這些運算進行。我們可以看到蘋果秉承這三條戰略：
1，超前於的其他廠商的技術視野；
2，帶給用戶融合最前沿技術的原生應用，「體驗」即一切；
3，硬體不花哨，新一代應用開發平台是關鍵。
徒有一個強大的「計算器」，沒有優質、互相推進的應用程序接口，麒麟系列980、970計算速度再快也沒有用。蘋果做的就是用戶-app開發商之間的生態系統，因為在這個平台上，三者都有利可圖。
用戶通過前沿的app內置功能創作、體驗；開發商在appstore上收取費用；蘋果在背後提供硬體、系統支持。目前在華為推出新一代基於7nm智慧型手機生態圈之前，除了快，用戶不會有任何值得驚嘆的體驗。
所以蘋果秉承一貫作風，賣的不是硬體，而是算法。
軟體，才是蘋果的高價值區。
也許，盯著蘋果硬體配置價格表，不會讓人有任何購買衝動。蘋果的戰略是讓人親身體會產品帶給人的感受。所以正像庫克在記者會的一開始表示，蘋果自己是retail（零售）界的改革者，而不是手機界改革者。每年蘋果實體店擁有500milion的流量，由此可見一斑。
就在庫克結束了今年秋季產品記者會之後幾分鐘，華為董事成員餘承東發微博：
為在未來將會推出對標蘋果什麼樣技術平台，我們拭目以待，僅僅通過增大記憶體容量、CPU快一些已經不能滿足當今智慧型手機市場了，也許這個市場還在教育階段，並不是所有需求都集中在Ai技術上。
也許蘋果iPhoneX是一個不可逆創新。什麼叫不可逆創新，即大家之前不覺得它有用，但用過之後都覺得它很有必要。所以，期待新一代iPhoneX在Ai智慧型手機市場上的發揮。
