用AI設計AI?

日前Google Brain研究團隊公開了一篇論文[1]，說明他們如何自動化機器學習模型的架構設計。

"In this paper, we attempt to automate this engineering process by learning the model architectures directly on the dataset of interest".

我說過優秀的軟體工程師是最擅長「日新又新」「革自己的命」的族群。這幾年，機器學習專家爭相發表強大的機器學習模型，尤其是影像辨認的應用。如今，這件工作，透過自動化，可以找到比「人類設計」更好的設計。



如截圖所示，紅線的NASNet系列，是「機器設計」、自動化程序產生的，黑線則是目前「人類設計」中表現最佳的機器學習模型。所謂的表現佳，就是花費相同的運算能量(橫軸)，可達到較高的準確度(縱軸)。

顯而易見的，紅線高於黑線。從另一個角度看，機器設計的NASnet-6，只要56%的計算量，就能達到與SENet相當的準確度。

問題來了:

Q1. 他們是怎麼辦到的?

Q2. 這個技術是否會開源?

Q3. 是否一大堆從事機器學習模型設計的學者、工程師都要失業了?

Q4. 這是不是意味著AI在各方面都有可能取代人類?

還有更多的問題值得深思，在此簡單地自問自答:

A1. 部分答案在論文中， 但要進行這樣的自動化工程，必須要有強大的計算能量。論文說道:

"In our experiments, the pool of workers in the workqueue consisted of 500 GPUs".

沒有像樣的計算能量，跑不出實驗結果，最好不要碰這樣的研究。然而，因為運算量太大，不能用暴力算法去做這件事。

"As this approach is expensive when the dataset is large, we propose to search for an architectural building block on a small dataset and then transfer the block to a larger dataset".

以上這句話就是文章標題所點到的Transferability的概念，請讀論文。

A2. 按照Google過去的作法，真正重要的東西，是不會開源的，但為了避免被指責，或是被以「反托拉斯」處理，Google應該會容許其他公司或社群發展（模仿）類似技術，或是使用其技術和專利，只要不威脅到Google的利益即可。

Google發展這類技術，主要是用以提升自家的服務。他不大可能把核心技術拿出去賣。我相信其他公司或開源社群應該會發展出一個或多個類似的東西。

A3. 這些Google Brain的人不會失業，他們會去做更有挑戰性的題目。天底下可以做的題目很多，除了影像辨認之外，還有很多應用。即便在影像辨認這個領域，還是有很多挑戰，例如醫學影像，與一般的影像辨認有很大的差異。

做機器學習的人，應該比別人更清楚「革自己的命」這件事。如果誤入此行，以為可以靠幾年中學到的東西做一輩子，這時再來抱怨工作沒了，應該是一種無知。

A4. 這篇論文再次提醒我們，只要是有規則可循的工作，就有可能被自動化。

往好處看，具有高度好奇心、熱愛挑戰的人類，可以善用自動化技術去提升他們探索未知領域的能力與效率。

工業革命之後，人們曾經擔心工作不保，但工業革命造成教育和生產力的提升，讓更多的人們能夠致力於發展文明，而非擔憂填不飽肚子的問題。

然而，社會的「低端人口」該如何自處，社會該如何看待他們呢? 這是很嚴肅的問題。工業化的國家，已面對這類的問題多年，甚至因為爭權奪利而引發兩次世界大戰，乃至有社會主義思想的濫觴。

制式教育只是為了生產業界所需的勞工，將人的勞動力提升，但是心智並沒有太多的長進。如今面對AI，我認為是危機也是轉機，希望人類的智慧藉此機會提升，但中間會有渾沌的現象，也是難以避免的。

[1] https://arxiv.org/pdf/1707.07012.pdf