為什麼說每個軟件工程師都應該懂大數據技術?

尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️

加入LINE好友

2012 年的時候,我從阿里跳槽到 Intel 做大數據開發。當時很多人不理解,我為什麼會從如日中天的互聯網公司跳槽到「傳統」的 IT 公司。

我是這樣考慮的,軟件編程技術出現已經半個多世紀了,核心價值就是把現實世界的業務操作搬到計算機上,通過計算機軟件和網路進行業務和數據處理。我們常見的軟件系統,不管是電子商務還是庫存管理,不管是搜尋引擎還是收銀終端,都是如此。這一點價值巨大,可以成百上千倍地提高我們的生活和工作效率。

但是時至今日,能用計算機軟件提高效率的地方,幾乎已經被全部發掘過了,計算機軟件成為人們日常生活的必備品,人們已經習慣了計算機軟件的存在。在這種情況下,如果想讓軟件再成百上千倍地提高我們的生活和工作效率,使用以前的那套「分析用戶需求和業務場景,進行軟件設計和開發」的做法顯然是不可能的了。

那如何走出這個困局呢?我覺得,要想讓計算機軟件包括互聯網應用,能夠繼續提高我們的生活工作效率,那就必須能夠發掘出用戶自己都沒有發現的需求,必須洞悉用戶自己都不了解的自己。

計算機軟件不能再像以前那樣,等用戶輸入操作,然後根據編寫好的邏輯執行用戶的操作,而是應該能夠預測用戶的期望,在你還沒想好要做什麼的情況下,主動提供操作建議和選項,提醒你應該做什麼。

這聽起來很科幻,但實際上已經出現了,那就是大數據技術和機器學習技術,也就是後來我們都耳熟能詳的人工智能 AI 技術。

現在回過頭來看,我當時的選擇是正確的。就在我加入 Intel 從事 Hadoop 開源軟件開發的第二年,也就是 2013 年,大數據技術開始火熱起來,從 BAT 到傳統的商業公司,都紛紛在自己的軟件系統中大規模使用大數據技術,有的公司甚至稱自己為大數據公司,而 2013 年這一年,後來也被稱為「大數據元年」。

又過了 3 年,也就是 2016 年,Google 的 AlphaGo 橫空出世,讓我們見識到了「大數據 + 機器學習」的巨大威力。

所以,我同意這樣一種說法:在未來,軟件開發將是「面向 AI 編程」,軟件的核心業務邏輯和價值將圍繞機器學習的結果也就是 AI 展開,軟件工程師的工作就是考慮如何將機器學習的結果更好地呈現出來,如何更好地做到人和 AI 的交互。

我曾經跟一個同學討論這個觀點,他認同面向 AI 編程,但是他認為:這並不意味著我一定要懂 AI,也不一定要懂大數據和機器學習,我只要懂業務,理解機器學習算出的結果就可以了。

真的是這樣嗎?只需要懂業務就能在「面向 AI 編程」的時代勝任軟件開發的工作嗎?

在阿西莫夫的科幻經典巨作《基地》中,描述了這樣一個場景:在銀河系,隨著戰爭的蔓延,很多星球的科技在逐漸退步,到後來,他們雖然還有核電站等高科技產品,但是已經不知道是如何運作的了。而在銀河系的邊緣,有一顆小星球,在大戰爆發前從銀河系各處轉移來了大量的科技文獻,這顆小星球也沒有加入戰爭並將科學技術一直傳承了下去。

後來,當其他星球的科技產品出現問題的時候,就會向這個小星球求援,小星球會派工程師前去維修。但是他們並不管工程師叫工程師,而是叫「僧侶」;也不管核電站叫核電站,而是叫「聖殿」;維修也不是叫維修,而是叫「祈禱」。

他們的說法是:因為這個星球上的人做了不該做的事,比如發動戰爭、破壞環境等,觸怒了神,所以神怪罪下來,讓他們失去能源,如果想恢復能源,就必須糾正自己的錯誤行為並向神祈禱贖罪。所以,當工程師進入核電站維修的時候,整個星球的人都跪下祈禱,當電力恢復的時候,大家紛紛稱頌神的偉大。

你看,科學和宗教並不是互斥的,科學也可以成為宗教,當人們面對自己不懂的東西的時候,會傾向於用宗教的原理去解釋。

如果未來是面向 AI 編程的,希望軟件工程師不要把 AI 當作什麼萬能的東西。當機器學習結果出現問題的時候,我們既不要陷入某種不可知的「玄學」之中,也不要無謂的抱怨什麼「人工智障」,而是應該積極參與到問題的討論、分析和解決中去。這也是我的觀點,即使自己不做大數據與機器學習相關的開發,每個工程師也應該懂大數據和機器學習。

將來,數據會越來越成為公司的核心資產和主要競爭力,公司的業務展開和產品進化也越來越朝著如何利用好數據價值的方向發展。不懂大數據和機器學習,可能連最基本的產品邏輯和商業意圖都搞不清楚。如果只懂編程,工程師的生存空間會越來越窄,發展也會處處受限。

如果說,大數據技術和應用是一個技術的殿堂,希望我的專欄不僅可以帶你找到進入大數據「殿堂」的鑰匙,也能透視「殿堂」里的結構、裝飾、傢俱,告訴你為什麼用這些元素可以構建恢弘的「殿堂」,以及如何更好地利用這個殿堂的空間與設施,而不是你進入「殿堂」看到一張床就舒服地躺下,錯失了更美的風景。

學習大數據最好的時間是十年前,其次就是現在!

歡迎你進入我的專欄,我們一起一探究竟。

About 尋夢園
尋夢園是台灣最大的聊天室及交友社群網站。 致力於發展能夠讓會員們彼此互動、盡情分享自我的平台。 擁有數百間不同的聊天室 ,讓您隨時隨地都能找到志同道合的好友!