大數據分析，在近年成為顯學。因為運算科技與網路的發展，企業可以從網路中得到大量的消費者足跡，加以分析之後，就能預知消費者的心態行為，而到了「工業4.0」時代，大數據不只運用在解析消費行為上，更運用在生產線的管理，提高生產的靈活度與效能，是非常重要的一環。
什麼是大數據？它是如何發展的？
大數據（Big Data）又稱巨量資料，大數據分析的基礎其實就是企業內部的資料分析、商業智慧（Business Intelligence）和統計應用，但隨著運算科技發展、資料量急速成長、儲存設備成本下降，大數據分析已不只是資料處理工具，而是進化為企業思維與商業模式、預測未來。
一般而言，大數據和傳統資料最大的不同，大數據資料種類多元、非結構化，而且更新速度很快，要創造價值，真實性就特別重要。
2000年網路熱潮興起時，企業就已經開始搜集使用者資料、研究行為，而Facebook或Twitter等社群平台，進一步將人類的互動化為數據，企業進一步分析之後，可以提升服務品質、管理效率，成為不可或缺的一環。
要多少資料才夠？這也許是剛踏入大數據分析領域的企業，心中會有的疑問。
雖然依照大數據的狹義定義資料量要在100TB到PB之間，但只有大企業如亞馬遜或AT&T或許符合定義，大部分的企業都沒辦法達到這個標準。但事實上，「大」只是資料的一個面向，而非全部，重點在於如何運用既有的資訊挖出新商機，中小企業也可以創造出新價值。
大數據的商業模式，不外乎：
- 數據變現：數據本身就是一種產品，例如Facebook在擁有眾多使用者的數據之後，將數據成為廣告的基礎，吸引大批廣告商投放。
- 數據提高企業競爭力：藉由內部數據提升競爭力，成效大多不會在營收上看見，而是會降低內部管理成本。例如工業0的工廠，利用生產數據預測機械何時會出現問題、提早維修以免問題變得更嚴重，就要耗費更多成本力氣處理，因此省下許多成本。
- 數據提高服務能力：藉由數據預測消費者需求，適時提供他所需要的服務，提高消費者好感度。例如電商蒐集消費者瀏覽過的產品，推播其他類似的產品引起消費者興趣。
什麼是大數據的4V特性？
大數據的特性，大部分會歸類為4V：資料量 Volume、資料傳輸速度 Velocity、資料類型 Variety、真實性 Veracity。
Volume 資料量
是由機器、網路、人與人之間的社群互動生成大量的數據。再大的企業中，資料量很可能達到數 TB（Tera Bytes，兆位元組），甚至上看 PB（Peta Bytes，千兆位元組）或 EB（Exabytes，百萬兆位元組）的等級。
Velocity 資料輸入輸出速度
隨著網路科技進步，網路使用者、社群網站、搜尋引擎，每分每秒都在累積巨量的內容，如何及時對這些訊息做出反應，對企業來說是很大的挑戰。
Variety 資料類型
大數據來源非常多樣化，從文字擴展到電子郵件、網頁、社交媒體、視訊，音樂、圖片等等，增加儲存（storage）、探勘（mining）、分析（analyzing）上的困難。
Veracity 真實性
這個詞是由在 Express Scripts首席數據官（Chief Data Officer, CDO）--Inderpal Bhandar 所提出，認為大數據分析中應該過濾資料有偏差、偽造、異常的部分，防止「dirty data」損害系統的完整跟正確性，進而影響決策。
大數據分析對於工業4.0有何幫助？什麼產業較合適？
工業4.0的重點在於改變生產思維，不再以效率和成本為依歸，以生產最適合消費需求的產品為目標，內涵包括了如何掌握客戶需求、數量、品質、價格、服務和使用經驗…… 等等項目，需要跨界整合、虛實整合的系統來達成。
銷售端的回饋資訊與配合，是智慧生產的重要環節，利用物聯網把所有生產設備與感測、甚至於消費者行為等資訊整合，匯入雲端數據平台，讓成員分析、優化生產線。
企業必須以數據推動轉型，作為創新的基礎，藉以決定產品設計、生產、和客製化銷售策略。「瞭解過去，預測未來、推動執行」，過程中整合部門緊密合作，根據大數據預測業務成果，強化準確度與效益。
半導體產業如何應用大數據分析？
因摩爾定律不斷推進，半導體積體電路不斷微縮，製程趨向精密，每個環節都必須確保不出錯，才不會無端浪費成本。
以重要的晶圓製程來說，已進入10nm技術節點的發展，企業必須投入更精密的設備，才能產出符合需求的產品，然而，相關設備成本動輒千萬，在成本不動的狀態下，產品的良率就成了獲利的關鍵。因此過程中必須隨時監控，預測問題及時解決，以免產品有瑕疵，造成大規模退貨、維修等龐大的成本負擔。
在過去，半導體製程監控重點大多放在機台生產時的恆時紀錄，等到製造過程中出現問題，才會搜尋紀錄進行數據分析，將問題拆解後再逐步分析、拼湊出合適的解決之道。但是製程日趨精細複雜，篩選消化龐大數據會耗費太多人力與時間，龐雜無效率，也不一定找得到真正原因。舊有的工具已跟不上製程複雜演進，對產業技術發展造成瓶頸。
而現在科技進步，半導體產業必須導入大數據分析，結合影像、監控數據，利用數據分析歸納出較容易發生問題的生產模式，即時讓現場工作人員提早關注，增加產品良率及生產效率，不必等到發生問題時再花費額外的成本分析與解決問題，更可以避免退貨與維修成本。
目前許多半導體工廠已在關鍵設備上設置機器視覺檢測設備、感測裝置，在製造過程中累積大量生產數據內容，導入大數據分析方法，自動監測問題及時通知維修處理，現場工作人員即可透過提示提早關注可能的生產問題，進而增加產品良率及生產效率。
例如常規半導體製程中，多半會有浸潤、曝光等過程，其中包含許多節點，分析每個節點製程的起始相關過程數據，例如蝕刻深度量測、缺陷量測、電子顯微鏡影像紀錄等，偵測可能出錯的重點；而當半導體邁向更精密的製程時，量測記錄數據也會增加，可採用折衷抽樣方案避免拖慢產線。
善用大數據分析，可以預防製程問題，甚至進一步優化生產線，提升產能與獲利。例如韓國，運用大數據分析方法，減少約10%的問題發生率，減少成本同時增加員工產值50%。
數據分析除了應用於內部生產線管理之外，半導體產業也應用數據分析，找出下一個產品流行的趨勢。
智慧化的生產環境將是半導體產業重要趨勢，如果還是仰賴過去降低勞力成本的生產作法，不運用數據分析掌握關鍵技術，在全球半導體市場中，很容易失去競爭力。
大數據分析需要哪些技術與人才？
企業要活用大數據，需要3種人才：第一是「數據的IT專家」；其二是「分析數據的資料分析人員」；其三是「活用數據的經理人」。這是東京大學先端科學技術研究中心特任教授--稻田修一的觀點。
分析數據並不只是統計結果，而是要從結果中推測顧客行為的原因，並擬定相對應的行動計畫。因此，企業需要IT人員提供數據統計，資料分析人員研究結果，經理人要決定該怎麼分析資料，活用這些數據作出行動決策。
大數據分機首先必須定義問題：
- What：要解決什麼問題？
- Who：這是誰的問題？
- How：如何解決問題？
- When：何時要解決？現在或未來？
- Data：可以用數據解決嗎？
以上五個問題確認後，就得思考「該如何解決問題」？對於數據運用會更加清晰。
而數據分析師的工作不僅於此，必須要有商業概念，了解數據所代表的消費者需求，推斷未來的市場趨勢。一個好的數據分析人才，必須擁有以下能力：
- 了解不同部門的問題，培養商業敏銳度。
- 以多元角度觀察數據走勢，減少分析盲點。
為了培育大數據分析人才，科技部連結台積電、清華大學等產學界單位，舉辦「半導體大數據分析競賽」，開放國內學生參賽，以台積電實際資料為題目，開啟學生對大數據分析的興趣與實戰經驗，也為產業培育人才。
資料分析是許多領域的綜合體，優秀的資料分析師，不只需要良好的數學統計基礎，也需要把數據轉化成知識的能力，適當過濾資料找出關鍵資訊後用來解決問題。
現今半導體產業，大數據分析是很重要的範疇，如何應用在優化製程，是企業必須具備的重要關鍵。