數(shù)據(jù)倉庫應用具有從多個分散的部門級系統(tǒng)中捕捉大量共享信息的能力。它們可以將機構(gòu)的原始數(shù)據(jù)有效地轉(zhuǎn)化為有用的知識信息,于是這些知識信息就可以被用來進行戰(zhàn)略決策支持,從而提高企業(yè)效益。在一個先進的數(shù)據(jù)倉庫應用的幫助下,企業(yè)決策者可以從質(zhì)量、區(qū)域收入和產(chǎn)量等基本面上對企業(yè)性能進行跟蹤,并基于這些可靠的信息采取快速、明智的行動。
本文將闡述建立數(shù)據(jù)倉庫的八條規(guī)則,尤其是如何建立第一個數(shù)據(jù)倉庫。實際上,對于如何建立一個成功的數(shù)據(jù)倉庫,現(xiàn)實中不存在也根本不可能存在一個涵蓋萬千、放之四海而皆準的"寶書"。幾乎可以肯定的是,在建立第一個數(shù)據(jù)倉庫的時候,用戶肯定會犯錯誤,這是不可避免的。本文的規(guī)則的意義僅僅在于,幫助用戶避免一些已知的缺陷。而對于那些不可避免的必然錯誤,這些規(guī)則會盡可能地幫助用戶減輕可能帶來的危害。
規(guī)則一：從小處著手
不要一上來就要完成一個大規(guī)模的企業(yè)范圍的數(shù)據(jù)倉庫,這樣會使用戶陷入邏輯、行政和財政的泥沼中而不能自拔。
數(shù)據(jù)倉庫不是越大越有效,較小系統(tǒng)的價值對機構(gòu)來講可能會很大。例如,用戶可以將第一個數(shù)據(jù)倉庫的實現(xiàn)定位于一個特定的部門和應用或者業(yè)務線。初始時采用規(guī)模向下的數(shù)據(jù)集市可以降低開發(fā)成本,縮短實現(xiàn)周期,并有助于為未來的數(shù)據(jù)倉庫的發(fā)展培訓IT人員。
規(guī)則二：向大處考慮
即使在建立第一個面向特定部門或特定應用的數(shù)據(jù)集市時,也一定要保證現(xiàn)在所使用的數(shù)據(jù)模型能夠向?qū)砥髽I(yè)范圍的數(shù)據(jù)存儲擴展,以便于將來其他數(shù)據(jù)集市和戰(zhàn)略數(shù)據(jù)倉庫的實現(xiàn)。
必須在部門之間進行一致性數(shù)據(jù)定義,并使每個人都遵守。例如,如何構(gòu)成一個"銷售體系"?是預約登記、開發(fā)票還是付款?在這些定義上的一致性協(xié)議會使以后部門數(shù)據(jù)的聯(lián)合成為可行、有效。
規(guī)則三：定義目標和量化收益
在項目開始實施以前,用戶必須明確回答幾個問題。我們?yōu)槭裁匆⒁粋€數(shù)據(jù)倉庫?項目的目的同我們機構(gòu)的任務一致嗎?哪些問題是我們致力于要去解決的?要考慮及時推入市場、質(zhì)量和客戶滿意度等因素嗎?
在進行了目標問題的認知以后,應該認清哪些是關(guān)鍵性的影響成功的因素,以便于在解決方案的實施進程中進行跟蹤。例如,收益和運輸單位(units shipped)可能是對喪失市場份額產(chǎn)生作用的兩個影響因素。
在確立了這些關(guān)鍵的成功影響因素以后,用戶就可以在應用中設(shè)置"自動水開標記或警報"。這些警報保證對底層產(chǎn)生直接影響的重要數(shù)據(jù)是清晰可見的,便于及時采取行動。定義了成功的影響因素后,在使用數(shù)據(jù)倉庫時就可以檢測到威脅成功的因素。
一旦這些基本目標確立以后,下一個基本要求是對來自數(shù)據(jù)倉庫的可預期的收益進行量化。只有在做了這些工作以后,管理層才會有據(jù)可依地判斷一個數(shù)據(jù)倉庫的成功與否。
量化的目標不一定非是數(shù)字或金融表達式,它們只需要明確、有意義即可。
許多機構(gòu)都采用金融衡量標準,比如ROI,來對收益進行量化。IDC對62家數(shù)據(jù)倉庫的實現(xiàn)進行研究表明,在數(shù)據(jù)倉庫項目上的總體ROI為401%,平均回報時間為2～3年。數(shù)據(jù)集市的ROI經(jīng)檢驗為533%。其他類型的收益衡量標準還包括成本節(jié)約程度以及可獲得的能夠進行衡量的效率。
規(guī)則四：取得高管理層的支持和認可
數(shù)據(jù)倉庫中涉及到信息的共享,這必然會由于部門數(shù)據(jù)所有者的人為因素造成失控。在數(shù)據(jù)所有權(quán)和數(shù)據(jù)存放等問題上的內(nèi)部紛爭,很容易給數(shù)據(jù)倉庫帶來進程上的滯延和失敗。
這種數(shù)據(jù)上的"割據(jù)"必須在項目的開始就立即加以解決。理想的情況是,公司高管理層的一個或者幾個成員能夠為數(shù)據(jù)倉庫進行部門或部門之間的對象設(shè)置。管理層的支持有助于打破各個部門之間日益嚴重的由于數(shù)據(jù)保護而形成的行政壁壘。
在整個過程中,終端用戶也是一個不可忽視的因素。如果那些首先進行數(shù)據(jù)輸入的人員不了解數(shù)據(jù)倉庫的意義,用戶很容易地陷入一攤"垃圾"數(shù)據(jù)中。用戶用來決策的數(shù)據(jù)應該同初輸入的數(shù)據(jù)一樣好。
規(guī)則五:等待完美不會帶來收益
如果已經(jīng)進行了目標定義,明確了關(guān)鍵的成功影響因素,并且數(shù)據(jù)倉庫項目的規(guī)模得到了合理的控制,那么就不要永久地等待下去,因為這樣下去什么也不會得到。盡快行動起來,開始分享數(shù)據(jù)倉庫投資帶來的回報。用戶不應拘泥于所謂的"完美"不放,一旦客戶開始訪問到新數(shù)據(jù)倉庫中的信息,研究結(jié)果展現(xiàn)在他們的面前,他們很快會發(fā)現(xiàn)自己需要更多的信息和更詳細的細節(jié)。
研究表明,數(shù)據(jù)倉庫以每年大約40%的速率在增長。隨著用戶需求的發(fā)展,應用能夠不斷修改與之適應。這種方式是一個"壘磚"的方式,邁向數(shù)據(jù)倉庫的第一步路就是快速實現(xiàn)它。
規(guī)則六：選擇能夠與用戶需求匹配的系統(tǒng)
如上所述,要認識到數(shù)據(jù)倉庫將可能以每年遞增40%或更多的速度增長。同時要認識到,用戶和職員不可能非常準確地預料到系統(tǒng)上的初始和未來負載的情況。這種固有的精確度的缺乏就需要軟件和硬件具有可伸縮性,能夠容納更多的客戶、進程和存儲的發(fā)展。
這種性能必須在設(shè)計的開始就考慮進去。否則,就可能因設(shè)置過大而超出系統(tǒng)的適用范圍,白白將投資浪費掉。
規(guī)則七：要確保數(shù)據(jù)倉庫工具協(xié)作使用
盡管數(shù)據(jù)倉庫市場已經(jīng)進入了第二代,它仍然是不成熟的。其表現(xiàn)為過多過剩的產(chǎn)品,有太多的廠家而無明確的,導致了行業(yè)上的競爭,使購買決策變得困難。這使得那些想對來自多廠家的數(shù)據(jù)倉庫工具和應用進行集成的廠商感到惶惑不知所措。同其他信息技術(shù)領(lǐng)域不同,如TCP/IP對于網(wǎng)絡,RISC/UNIX對于企業(yè)級計算,SMTP對于消息傳遞,HTML和Java對于Web等,可靠的、被廣泛接受的數(shù)據(jù)倉庫標準還不存在。
在集成多廠家的數(shù)據(jù)倉庫工具時,IT人員由于缺少了明確定義的標準的指導,而使數(shù)據(jù)倉庫的實施從一開始就處于風險中。一些大一點的廠家通過將他們的產(chǎn)品與其他廠家的產(chǎn)品進行捆綁來降低風險,并做一些集成。
規(guī)則八：關(guān)系的價值
在建立第一個數(shù)據(jù)倉庫時,選擇正確的合作伙伴是很關(guān)鍵的,包括顧問、分銷商以及軟件和硬件的廠家。
選擇合作伙伴一是基于其能力,二是基于其具有長期同舟共濟的愿望。要自問一下,這個廠家在初始實現(xiàn)以后是否還會積極地幫助我解決面臨的問題?這個廠家現(xiàn)在在我的機構(gòu)中的投資是什么?隨著我們的項目的繼續(xù)推進,情況會是什么樣子?
當困難接踵而至的時候,對運作中的其他方面不感興趣的合作伙伴將很難與其保持真誠的合作。
當尋找能夠維持長期合作關(guān)系的合作伙伴的時候(通常是行業(yè)內(nèi)已經(jīng)建立關(guān)系的),一定要注意自己內(nèi)在的感受。例如,在對行業(yè)中某個公司的一位資深顧問進行考察,以探察其對特定應用領(lǐng)域的數(shù)據(jù)集市的實現(xiàn)經(jīng)驗時,一定要保證能夠與之合作。想要取得成功,就必須能夠與所有的廠家和合作伙伴進行有效的合作和交流。
上面列出的大多數(shù)規(guī)則集中在人的問題上:計劃、定義、協(xié)調(diào)、實踐、完美。這一點也不出人意料,因為數(shù)據(jù)倉庫的建立就是為了一件事情:幫助人們實實在在地更好地進行決策。
在過去,人為"機器"服務。人按照機器所需要的格式裝載數(shù)據(jù),使用機器所定義的查詢類型來檢索信息。而今,數(shù)據(jù)倉庫打破了這種傳統(tǒng)關(guān)系。用戶成為機器的主人,而不是它的奴隸。但是,自由就意味著責任。獲得自由的人必須要學會全面地考慮問題,設(shè)立目標,協(xié)商取得一致,深思熟慮再做選擇,然后果斷采取行動。
本文將闡述建立數(shù)據(jù)倉庫的八條規(guī)則,尤其是如何建立第一個數(shù)據(jù)倉庫。實際上,對于如何建立一個成功的數(shù)據(jù)倉庫,現(xiàn)實中不存在也根本不可能存在一個涵蓋萬千、放之四海而皆準的"寶書"。幾乎可以肯定的是,在建立第一個數(shù)據(jù)倉庫的時候,用戶肯定會犯錯誤,這是不可避免的。本文的規(guī)則的意義僅僅在于,幫助用戶避免一些已知的缺陷。而對于那些不可避免的必然錯誤,這些規(guī)則會盡可能地幫助用戶減輕可能帶來的危害。
規(guī)則一：從小處著手
不要一上來就要完成一個大規(guī)模的企業(yè)范圍的數(shù)據(jù)倉庫,這樣會使用戶陷入邏輯、行政和財政的泥沼中而不能自拔。
數(shù)據(jù)倉庫不是越大越有效,較小系統(tǒng)的價值對機構(gòu)來講可能會很大。例如,用戶可以將第一個數(shù)據(jù)倉庫的實現(xiàn)定位于一個特定的部門和應用或者業(yè)務線。初始時采用規(guī)模向下的數(shù)據(jù)集市可以降低開發(fā)成本,縮短實現(xiàn)周期,并有助于為未來的數(shù)據(jù)倉庫的發(fā)展培訓IT人員。
規(guī)則二：向大處考慮
即使在建立第一個面向特定部門或特定應用的數(shù)據(jù)集市時,也一定要保證現(xiàn)在所使用的數(shù)據(jù)模型能夠向?qū)砥髽I(yè)范圍的數(shù)據(jù)存儲擴展,以便于將來其他數(shù)據(jù)集市和戰(zhàn)略數(shù)據(jù)倉庫的實現(xiàn)。
必須在部門之間進行一致性數(shù)據(jù)定義,并使每個人都遵守。例如,如何構(gòu)成一個"銷售體系"?是預約登記、開發(fā)票還是付款?在這些定義上的一致性協(xié)議會使以后部門數(shù)據(jù)的聯(lián)合成為可行、有效。
規(guī)則三：定義目標和量化收益
在項目開始實施以前,用戶必須明確回答幾個問題。我們?yōu)槭裁匆⒁粋€數(shù)據(jù)倉庫?項目的目的同我們機構(gòu)的任務一致嗎?哪些問題是我們致力于要去解決的?要考慮及時推入市場、質(zhì)量和客戶滿意度等因素嗎?
在進行了目標問題的認知以后,應該認清哪些是關(guān)鍵性的影響成功的因素,以便于在解決方案的實施進程中進行跟蹤。例如,收益和運輸單位(units shipped)可能是對喪失市場份額產(chǎn)生作用的兩個影響因素。
在確立了這些關(guān)鍵的成功影響因素以后,用戶就可以在應用中設(shè)置"自動水開標記或警報"。這些警報保證對底層產(chǎn)生直接影響的重要數(shù)據(jù)是清晰可見的,便于及時采取行動。定義了成功的影響因素后,在使用數(shù)據(jù)倉庫時就可以檢測到威脅成功的因素。
一旦這些基本目標確立以后,下一個基本要求是對來自數(shù)據(jù)倉庫的可預期的收益進行量化。只有在做了這些工作以后,管理層才會有據(jù)可依地判斷一個數(shù)據(jù)倉庫的成功與否。
量化的目標不一定非是數(shù)字或金融表達式,它們只需要明確、有意義即可。
許多機構(gòu)都采用金融衡量標準,比如ROI,來對收益進行量化。IDC對62家數(shù)據(jù)倉庫的實現(xiàn)進行研究表明,在數(shù)據(jù)倉庫項目上的總體ROI為401%,平均回報時間為2～3年。數(shù)據(jù)集市的ROI經(jīng)檢驗為533%。其他類型的收益衡量標準還包括成本節(jié)約程度以及可獲得的能夠進行衡量的效率。
規(guī)則四：取得高管理層的支持和認可
數(shù)據(jù)倉庫中涉及到信息的共享,這必然會由于部門數(shù)據(jù)所有者的人為因素造成失控。在數(shù)據(jù)所有權(quán)和數(shù)據(jù)存放等問題上的內(nèi)部紛爭,很容易給數(shù)據(jù)倉庫帶來進程上的滯延和失敗。
這種數(shù)據(jù)上的"割據(jù)"必須在項目的開始就立即加以解決。理想的情況是,公司高管理層的一個或者幾個成員能夠為數(shù)據(jù)倉庫進行部門或部門之間的對象設(shè)置。管理層的支持有助于打破各個部門之間日益嚴重的由于數(shù)據(jù)保護而形成的行政壁壘。
在整個過程中,終端用戶也是一個不可忽視的因素。如果那些首先進行數(shù)據(jù)輸入的人員不了解數(shù)據(jù)倉庫的意義,用戶很容易地陷入一攤"垃圾"數(shù)據(jù)中。用戶用來決策的數(shù)據(jù)應該同初輸入的數(shù)據(jù)一樣好。
規(guī)則五:等待完美不會帶來收益
如果已經(jīng)進行了目標定義,明確了關(guān)鍵的成功影響因素,并且數(shù)據(jù)倉庫項目的規(guī)模得到了合理的控制,那么就不要永久地等待下去,因為這樣下去什么也不會得到。盡快行動起來,開始分享數(shù)據(jù)倉庫投資帶來的回報。用戶不應拘泥于所謂的"完美"不放,一旦客戶開始訪問到新數(shù)據(jù)倉庫中的信息,研究結(jié)果展現(xiàn)在他們的面前,他們很快會發(fā)現(xiàn)自己需要更多的信息和更詳細的細節(jié)。
研究表明,數(shù)據(jù)倉庫以每年大約40%的速率在增長。隨著用戶需求的發(fā)展,應用能夠不斷修改與之適應。這種方式是一個"壘磚"的方式,邁向數(shù)據(jù)倉庫的第一步路就是快速實現(xiàn)它。
規(guī)則六：選擇能夠與用戶需求匹配的系統(tǒng)
如上所述,要認識到數(shù)據(jù)倉庫將可能以每年遞增40%或更多的速度增長。同時要認識到,用戶和職員不可能非常準確地預料到系統(tǒng)上的初始和未來負載的情況。這種固有的精確度的缺乏就需要軟件和硬件具有可伸縮性,能夠容納更多的客戶、進程和存儲的發(fā)展。
這種性能必須在設(shè)計的開始就考慮進去。否則,就可能因設(shè)置過大而超出系統(tǒng)的適用范圍,白白將投資浪費掉。
規(guī)則七：要確保數(shù)據(jù)倉庫工具協(xié)作使用
盡管數(shù)據(jù)倉庫市場已經(jīng)進入了第二代,它仍然是不成熟的。其表現(xiàn)為過多過剩的產(chǎn)品,有太多的廠家而無明確的,導致了行業(yè)上的競爭,使購買決策變得困難。這使得那些想對來自多廠家的數(shù)據(jù)倉庫工具和應用進行集成的廠商感到惶惑不知所措。同其他信息技術(shù)領(lǐng)域不同,如TCP/IP對于網(wǎng)絡,RISC/UNIX對于企業(yè)級計算,SMTP對于消息傳遞,HTML和Java對于Web等,可靠的、被廣泛接受的數(shù)據(jù)倉庫標準還不存在。
在集成多廠家的數(shù)據(jù)倉庫工具時,IT人員由于缺少了明確定義的標準的指導,而使數(shù)據(jù)倉庫的實施從一開始就處于風險中。一些大一點的廠家通過將他們的產(chǎn)品與其他廠家的產(chǎn)品進行捆綁來降低風險,并做一些集成。
規(guī)則八：關(guān)系的價值
在建立第一個數(shù)據(jù)倉庫時,選擇正確的合作伙伴是很關(guān)鍵的,包括顧問、分銷商以及軟件和硬件的廠家。
選擇合作伙伴一是基于其能力,二是基于其具有長期同舟共濟的愿望。要自問一下,這個廠家在初始實現(xiàn)以后是否還會積極地幫助我解決面臨的問題?這個廠家現(xiàn)在在我的機構(gòu)中的投資是什么?隨著我們的項目的繼續(xù)推進,情況會是什么樣子?
當困難接踵而至的時候,對運作中的其他方面不感興趣的合作伙伴將很難與其保持真誠的合作。
當尋找能夠維持長期合作關(guān)系的合作伙伴的時候(通常是行業(yè)內(nèi)已經(jīng)建立關(guān)系的),一定要注意自己內(nèi)在的感受。例如,在對行業(yè)中某個公司的一位資深顧問進行考察,以探察其對特定應用領(lǐng)域的數(shù)據(jù)集市的實現(xiàn)經(jīng)驗時,一定要保證能夠與之合作。想要取得成功,就必須能夠與所有的廠家和合作伙伴進行有效的合作和交流。
上面列出的大多數(shù)規(guī)則集中在人的問題上:計劃、定義、協(xié)調(diào)、實踐、完美。這一點也不出人意料,因為數(shù)據(jù)倉庫的建立就是為了一件事情:幫助人們實實在在地更好地進行決策。
在過去,人為"機器"服務。人按照機器所需要的格式裝載數(shù)據(jù),使用機器所定義的查詢類型來檢索信息。而今,數(shù)據(jù)倉庫打破了這種傳統(tǒng)關(guān)系。用戶成為機器的主人,而不是它的奴隸。但是,自由就意味著責任。獲得自由的人必須要學會全面地考慮問題,設(shè)立目標,協(xié)商取得一致,深思熟慮再做選擇,然后果斷采取行動。