趕著搭Big Data的列車

這篇「海量資料萬歲？請三思！」（http://pansci.tw/archives/42114）值得讀一下。我以下講的是相關的題外話。

Big Data的重點在於提供新的研究方法和處理技術，但不是萬靈丹；正如同雲端運算的重點在於為大型資訊服務提出新的內部架構和運作管理機制，並非取代原有技術。

雖然把這些技術當成方法和工具，可以提高成功開發新應用的機會，但是這類當紅的高風險、高報酬的高科技業，最怕的進到就是那種短視、只會跟風、又缺乏實力的研發團隊，比人家晚半拍做出比人家差的東西。

台灣幾年前一些搞雲端的公司，把問題看得太容易了，投入的資源不夠，台灣本身的軟體人才也不足，卻想在短期間賺錢，所以起不來。

軟體工程的人才，不是短期間就訓練得出來的。先天上，軟體比硬體複雜許多，規格和測試都難很多，急於土法煉鋼的結果，做出來的軟體誰敢用？

現在很多人趕著搭Big Data的列車，彷彿學了幾門資料課就能做出了不起的應用。我們實驗室研究Big Data幾年，仍然在學習模式，不大敢說我們會做些什麼應用。

要知道，每個應用都有其獨特性，如果是玩真的，一定會不斷針對應用去優化，因此對於應用的特性必須瞭如指掌，除了domain knowledge之外，也要做好workload characterization。拿Google做過的東西套在自己的應用上，不見得好，所以開發者應該先抱著「一次搞定一個應用」的態度，才能做好實務工作。

二十年前，我們在U of Michigan的一個平行處理實驗室裡面，七、八位Ph.D.學生，花了幾年的時間一起來想辦法搞定「一個應用」。

或許在台灣的產業、學術界眼中，扎扎實實作研發已漸漸成為天方夜譚，因為這個體系不只不鼓勵，反而處罰扎實作事的人。多年來短視近利、只看到數字的作法，搞得大家成天疲於奔命，很多時候，不是設法賺一些蠅頭小利，就是用花拳繡腿唬人，但是真正知道要跑去哪裡的人好像不多。似乎每個人在跟在某個人後面跑的同時，還不斷在問：「明天要跑去哪裡？」

你知道你自己明天要跑去哪裡嗎？要問自己還是問別人？