愛德華日誌 - research

使用 Google Trends, 你有進行基值/基期校正嗎?

noreply@blogspirit.com (Edward HSIEH) — Wed, 09 Jul 2008 00:54:34 +0800

因為在 iThome 看到一位與我有一面之緣、熱衷 Flex 的高手，透過分析 Google Trends 資料，寫了一篇名為「RIA四雄群起：以Google Trends評析現有RIA四大技術(Flex、Silverlight、JavaFX、Curl)」的 blog。由於其中各種技術熱門程度的差異實在太大，激起了我進一步自行探索的動力。

第一件使我產生懷疑的是，文中指出 Flex 技術是 2004 年發行 1.0 版，我到 Wikipedia 查了一下資料，是 2004 年 3 月。那時候 Flex 還是 Macromedia 所提出的一個 Server 端方案，需配合貴死人的 Server 端執行。而由圖一可以明顯看出，Flex 的趨勢線在 2004 年初就一直處於高檔，直覺跟…好吧--年紀--告訴我這不合理。

圖一：未經校正的 Google Trends 查詢：Flex, Silverlight, JavaFX, Curl

而第二件讓我覺得更不合理的是，如果你直接透過 Google 查詢 Curl，可以發現十之八九都與 RIA 無關。這樣的查詢流量怎能將它全部歸到 Curl for RIA 這一塊呢。

我相信 Flex 這將近 0.9 的 Search Volumn Index，並非指 Macromedia/Adobe 的 Flex 技術；同樣的，Curl 大多的查詢流量也與 RIA 無關。為了進行檢驗，我將查詢語句作了一些修正，以期找出較具代表性的指標。新的查詢為：Macromedia Flex, Microsoft Silverlight, Sun JavaFX, Adobe Flex。

圖二：經過校正的 Google Trends 查詢：Macromedia Flex, Microsoft Silverlight, Sun JavaFX, Adobe Flex

這個查詢中，Flex 的熱門程度可用 Macromedia Flex + Adobe Flex 來代表。基本上可看出，在 2004 年 3 月以前，少有人關注 Flex。而 Microsoft Silverlight 的聲勢，"有段時間" 其實並不小於 Macromedia/Adobe Flex，那 Sun 的 JavaFX，就趴在地上了。

不過，究竟一般網民在查詢時，並不會特別以 Adobe Flex、Microsoft Silverlight 這樣的組字方式去下。以上，我所要說明的是，在以 Google Trends 進行分析時，得對基期或基值進行校正。透過第二個查詢我們已經證明 2004 年 3 月前的 Flex 流量，不能算是 Flex for RIA 這一塊的流量。如果將圖一 Flex 的流量值向下平移 0.9 單位，可以看出 Flex 對 Silverlight 的比值將接近圖二所示。

行文至此，是不是可以建議 Google Trends 提供類似基期/基值校正的功能。不然，就趕快把 Google Treands 的 API 給 release 出來吧!

相關連結：

Google Trends: http://www.google.com/trends
Flex: http://www.adobe.com/devnet/flex/
Silverlight: http://www.microsoft.com/silverlight/
JavaFX: http://www.sun.com/software/javafx/
Curl: http://www.curl.com/
Google Trends API coming soon: http://news.cnet.com/8301-10784_3-9828916-7.html
iThome 原作者文章: RIA四雄群起：以Google Trends評析現有RIA四大技術(Flex、Silverlight、JavaFX、Curl)

Technorati : analysis, google, google trends, statistics, web

Google Trends 網路開發應用趨勢分析

noreply@blogspirit.com (Edward HSIEH) — Thu, 26 Jul 2007 17:32:00 +0800

Google Trends 向來是我愛用的簡易趨勢分析工具之一。它的輸出趨勢圖形分成上下兩個區塊：上方區塊線條代表相對上的查詢量，也就是關鍵詞在某一段時間內，相對於所有查詢所占的比率，我將它引申為「一個議題被網路大眾所關心的程度」；而下方區塊線條表示關鍵詞在 Google 新聞裡被提到的次數，我將它引申為「一個議題被幕後黑手炒作的程度」。其細節資訊在 "About Google Trends" 裡面解釋的很清楚。

本想透過 Google Trends 查詢當前各程式語言的熱門度，幾翻探索之後，看到一些有趣的現象。雖然這樣的探索談不上精確與科學--若要強調這點，可能還要參考各種 Page Rank、網站流量、新聞群組討論數。這裡著重的是分析的樂趣，適可作為一點茶餘飯後的話題，當成餘興節目欣賞。

分析：各語言的熱度消長

java c# c++ python ruby

這裡可以看到，整體上來講，所有程式語言在網民心中受到的關注，都呈現消退的現象。有人說 C# 或 .NET 過去一年以來市占率有所增加，但實際上卻可能是導因於 Java 自己本身的衰退。C++ 逐漸衰退；Ruby 有超越 Python 往上爬的趨勢，而事實上實力仍在伯仲之間。

那麼問題來了，為何程式語言整體上的熱度下降了呢？從 Search Volume 的定義來看，有可能是上網人口結構的改變 (非程式設計背景的人口增加了)。或是新的網路題材迸現，程式設計師心有旁鶩。或是典範轉移，語言層級的題材已漸式微。

分析：Dynamic Language 有熱起來嗎？

python php perl ruby javascript

從 News Reference 的顯示，PHP 及 Ruby 均有一群推手熱情提倡。但從 Search valumn 來看，網民的反應或關注並沒有明確的成長。而明顯逐漸被冷落的，包括 Perl、PHP 及 Javascript。喔！在 Ajax 當道的今日，Javascript 的熱度消退了？是因為大家覺得 Javascript 太基本了嗎？還是直接交給某些 Framework 處理掉就得了呢？

分析：Web (2.0) 的技術支撐

ria ajax css javascript rails

剛說到 Javascript 熱度消退，可能是因為大家對它越來越熟悉了。而其他相關的 Web 技術，由上圖可看出：CSS 逐漸受到一群人的重視--Web 2.0 的時代，大家越來越重視外表嗎？光只靠外表，就快比上能幹活的 Javascript 了。

Ajax 的推手極盡倡導之能，社群的反應不錯。RIA 也有許多人提，可是反應就比 Ajax 差了些--是因為 Ajax 聽起來像帥哥的名字，而 RIA 聽起是一種醫療技術的原因嗎？Rails 呢？嗯~ 有反應。

分析：各種訊息交換的社群型式

blog wiki forum bbs irc

接著來看看各種訊息交換的社群型式，這裡我試了 blog, wiki, forum, bbs 及 irc。由這裡可看到，blog 這一兩年來的熱度一直在穩定中求發展，而 wiki 則從 2006 年起有突然增溫的現象。另外從 web 1.0 時代就存在的討論群 forum，我想由於它也符合某些 web 2.0 的精神，其熱度並不曾稍減。至於鎖定特定族群的 bbs 與 irc，在 bbs 這邊可能是因為有太多的可取代性，而呈現下滑。而 irc 可能因為其專業性與即時性，熱度並未明顯衰退，難能可貴。

分析：大哥所推出的特殊應用

gmail flickr youtube facebook wikipedia

這裡把 Flickr 跟 Youtube 放在同一張圖表上，很明顯看出，同樣是占頻寬占硬碟的事業，Youtube 顯然受到比較多關愛的眼神。當然我們不能以此驟下斷言說買下這兩家公司的那兩家大哥大所做的決定是否聰明…

這裡我把 GMail、Wekipedia 及 Youtube 擺在一起，我想找出一種可能 (當然除了應用的本身是否容易吸引人之外)，是否真能透過「網路服務與使用者」及「使用者間」的連結關係 (1 對 1、1 對多、多對多)，印證出該服務在成長上的數學關係 (常數、乘數、指數)。不過，大家看看圖，了解我的意思就好，太嚴肅的分析已超越本文的範圍。

延伸閱讀：

Technorati : Google Trends, analysis, programming, trends, web 2.0

TCC 分享的記事(個人知識管理)軟體

noreply@blogspirit.com (Edward HSIEH) — Tue, 14 Nov 2006 07:20:00 +0800

TCC (是[訪異誌] — TCC's Blog嗎？)在我前一篇文章的留言，實在寫的太好了。本想直接用留言功能回應，但不知怎地，blogspirit 的留言功能竟一時無法使用，所以乾脆直接再 post 一篇文章來做回應。我先引用一下 TCC 的部分留言：

...

要蒐集、整理記事 ... 進入未接觸過的領域，蒐集大量相關 URL、PDF(會把其他 Office 檔案也都轉成 PDF)、... 等電子檔案資料，然後分類整理(資料夾)、撰寫小部份記事、彙整筆記、...。會使用 DEVONthink (http://devon-technologies.com/products/devonthink/ 參考 screenshots, demo movies)，搭配 DEVONagent 可更快蒐集網路資訊。如果需要的話，它可匯出檔案，方便擺放到網站上，供大家讀取。

複雜的設計(小弟從事軟體開發)、燃燒腦細胞的工作，會使用 Tinderbox (http://www.eastgate.com/Tinderbox/) 來描述全貌及所有細節。它對大量項目、文字的連結、處理、呈現都非常有彈性。

小型的設計、紀錄，大概就用 Incubator (http://mindcad.com/) 或 VoodooPad (http://www.flyingmeat.com/voodoopad/)，前者是處理連結強，後者是處理文字強，匯出也方便(一樣放到網站上)，都是有趣的小軟體。

...

TCC 一定也是一個重度的知識工作者，或許也跟我有點類似，有資訊蒐集狂的傾向。我們雖然將討論名稱定義在記事軟體，但這裡所提的東西，其實是已經進入個人知識管理及資訊蒐集整理的領域了。

TCC 提到的軟體實在很精彩，可惜我目前所用的 OS 是以 windows 為主。依照各軟體網站上的說明，我試圖提供與它們功能相近的 windows 軟體。由於沒用過 tcc 推薦的軟體，所以如果我說錯了，或是有更接近的匹配，也歡迎修正囉！

DEVONthink --> 功能滿強的，一時想不到可以匹配的 windows 程式，有人可以補充說明嗎？不過它讓我想到最近一個 firefox extension--zotero(http://www.zotero.org/)
Tinderbox --> 應該是有 windows 版 (http://usability.typepad.com/tinderbox_for_windows/)，不過我找不到下載點?
Incubator --> freemind (http://freemind.sourceforge.net/wiki/index.php/Main_Page)
VoodooPad --> EverNote (http://www.evernote.com)

我很贊同 TCC 的作法，就是即使是簡單如記事這件事，根據記事內容本質，以及該記事在我們心中概念形成的階段，會需要用不同的形式來組織它。如果有一套系統，可以支持每一概念發展階段的表達與運作方式，就太完美了…

新命運觀--運數關係、因果論，以及個體組成分子中的環境鏡像

noreply@blogspirit.com (Edward HSIEH) — Wed, 26 Apr 2006 23:45:08 +0800

之前曾寫過一篇文章，叫只有運數，沒有定數。那時點出一個方向：如果我們可以找出影響命運的因素，並取得一筆數量可觀的母群體，那麼透過資料探勘或相關的研究方法，要找出命運的模式，是極有可能的。

影響命運的因素，目前我所想到的，大概可分三個方向：

環境因素：這是一種機械論或系統論–給定不同個體，讓他們處在相同的結構中，會產生相同的行為(出自第五項修練：系統思考)。像是教育、家庭、朋友、國家、時代，甚至生日、八字、風水等，都可歸類到環境因素。其影響人的能力、品性、職涯與生活，至為明顯。
遺傳因素：此即基因論。像是有些文獻或書籍就直指犯罪及同性戀之傾向，跟基因有密切相關。甚至有些書籍更指出，其實基因不只影響個體的命運，也會影響整個物種及族群的命運。
個體因素：這是自由意識論。認為人是具有自由意識的個體，能夠自己控制其行為，追求想要的目標，進行決定自己的命運。大凡成功學(像是思考致富聖經書系、羊皮卷書系等)以及某些新紀元 (New Age) 思想體系，都強調意志的作用，足以改變命運，甚至昇華生命。

— *** —
命運與因果論

回頭看看以上三類因素，其實也就代表了個體由外 (環境) 到內 (基因) 的組合。雖說是分成三類，可是這三類因素確也互相影響。以基因與環境為例，一物種的基因，實際上乃是物種在演化過程中，與環境互動下，最佳化的結果。也就是說，其實基因裡面，已經存有一份歷史環境的鏡像。而個體的自由意識呢？雖在 New Age 的知識體系裡面，有所謂的大意志 (先天下而生的意識)，但反應到現實世界，意識本身也是環境與基因作用下的產物。可見，以上三類因素，實際上是在因果論的模型下運行。

— *** —

接下來的步驟，就是針對這些因素，找到可供衡量的變數。也就是，找到一套方法，把以上的因素量化。同樣的，我們也可以把命運的結果轉成一組變數(像是事業、情感、精神)，加以量化。進而找出(因數)與(果數)之間的各種關係、模式。

至此，我們可以看到，解決問題的方法已經出現。麻煩的卻是，究竟要取哪些變數當(因數)、哪些當(果數)。又，即使已決定變數，那麼量化的方式又如何，取得有無困難，這些才是讓人頭疼的地方。

— *** —
個體組成分子中的環境鏡像

為何生辰八字與住家風水影響一個人的命運，這牽扯到個體組成分子中的環境鏡像。是這樣的，當你打從娘胎受精逐漸成形的過程中，在細胞分裂與成長的過程中，個體的組成成分即不斷受到外在環境的影響。想像在雲層中的水氣，一旦凝聚成水滴，這顆水滴就映照者包含它的三千大千世界，這顆水滴自此就有了相的改變。隨著環境變異的增強，水滴可能產生形態的改變、甚至是本質的改變。

同樣的，那些成長分裂中的細胞，也受到成形過程中的時空因素所影響，像鏡子或錄音機一樣，反映出其間的時間因素。傳統命學或西洋占星術之所以能有幾分準確，的確是因為它們都掌握了時間的週期性。而這週期性，足以影響個體成分之相態與質性。

— *** —

組織．生命企業．人

noreply@blogspirit.com (Edward HSIEH) — Sat, 15 Apr 2006 19:05:00 +0800

過去已經有不少思想家把組織視為是有意識的生命體(註)，而我今天要談的，不是組織的人格化，而是現有資訊系統的架構，如何引領企業，向訊息的智能反應邁出步伐。

簡而言之，現代企業體的訊息反應模式，是越來越具有智慧生命的傾向了。而這種智慧生命的傾向，從整體與個體的角度來看，居然可以看到它的組成分子(有趣的是，這些組成份子同時也是創造它的生物)--人類--的影子。這是怎麼回事？請聽我道來。

就個體的功能性來看，每個人都具有一些慣性的行為反應、對某些事情熟練的操作方法，同時在腦中也有對事物的認知體系。而企業的資訊系統組成，也同樣的具有事件反應模式，商業流程、規則之作業程序，以及存放操作及分析資料用的異動資料庫及資料倉儲等。

Portal、 CMS、操作型CRM等，用來輸入與呈現資料；BPM、工作流程(Workflow)、電子郵件及群組軟體就像是企業的神經，在組織的各種不同單位間傳達訊息；而智慧的決策來自分析型CRM、資料探勘與知識管理等系統--我們通常將最高的智慧決策層稱之為BI。企業資訊系統近來較之以往，則更加強調預測、模擬與控制。我們可以說，如果有一物件，能夠預測其未來，又能自行繁衍，那麼一物件就具備了智慧生命的特徵。

個體間會傳遞訊息，甚至組成社群，企業生命體亦然。在不同的企業體之間透過 Web Serveice 互通訊息，同質性或上下游企業會組成聯盟，制定出此一聯盟才了解的協定(protocal)、行話(jargon)來通訊，或是提供服務。這些都在早期的 EDI、中期的分散物件呼叫協定以及近期的 SOA 等得到實現。

BI 若只是能分析現況還不夠，它必須能針對現況的了解，制定出決策，進而控制自己的未來，以適應環境。其最終目的，當然是在競爭的同類中脫穎而出，得以永續生存。當然企業可以透過交配(crossover, 合併)或分裂來改變體質，但在大部分情況下，多數企業會希望在維持同一生命體的情況下，去適應環境。這就突顯出企業之智能與神經，必須能有效的監測與控制個體之機能。

為了達成這樣的目標，企業之資訊系統，必須能轉化成資訊的智能神經系統。這與數年前比爾．蓋茲所提的「數位神經系統－與思想等快的明日世界」略有不同，畢竟蓋茲所強調的，僅在數位資訊系統的快速反應能力，而不在強調資訊系統所能提供的智慧決策與企業控制機能(這可由微軟這幾年來許多重大錯誤決策等到印證)。

所以，當代在檯面上的各種資訊系統乍看之下似乎沒有共同的目標，實則當它能透過 BPM 與 SOA 整合在一起之後，其目的性就明確無礙 -- 一切資訊系統的存在，就是為了讓企業適應現況與未來，得以生存及繁衍。生命，總會自己找到它的出路。

這一組成之系統，我將它稱之為企業生機系統：它含蓋了企業的智慧分析與決策，訊息的傳導與輸出入，以及使生命體得以適應環境的監測與控制。

這樣是好的，科技始終來自人性。我說，科技勢必造就出人性。

註：

這方面的資料，可參考《電腦生命天演論：人工智慧的演化》一書的描述。我節錄其第一章的部分內容：

畢竟，我們是社會動物，出於天性，我們組成社會單位，就像我們是由細胞組成的社會構成一樣。威爾斯（H. G. Wells，著有《隱形人》與《時間機器》等科幻小說）儘管晚年對未來愈來愈悲觀，但對人類知識成為全球共享資源之後的世界，有無限的憧憬，在他 1938 年（出版的《世界大腦》（World Brain）裡寫道：「人類的知識與觀念，經過統一組織與分疏後……也就是我所謂的世界大腦……那個世界大腦將會取代我們許多沒有統一協調的神經節……我認為，只有世界大腦出現了之後，才會有一個真正有能力的接收器，觀照世界事務……我們不需要獨裁者，我們不需要寡頭政黨或階級統治，我們要的是一個能夠意識到自身的世界智慧。」我們為所有東西，不分大小，都發展了數位模型，而那些模型，面臨了模仿、複製自身的難題。就我們所知，這就是意識演化的起點。

模擬、驗證、系統分析

noreply@blogspirit.com (Edward HSIEH) — Sat, 15 Apr 2006 16:55:00 +0800

不一樣的系統分析

「研究方法」裡面所說的系統分析，跟軟體工程裡面所說的系統分析很不一樣。

軟體工程裡面所說的系統分析，雖然也包含需求擷取、系統分析與設計，但在於確認系統設計規格上，做的總是略嫌不足。也就是，你如何確定你的設計是有效的。你的設計足以解決使用者所面對的問題，或是有效達成將來的需求？

可以說，軟體工程裡面的系統分析與設計方法，是比較適合用在 "確定性" 系統或 "創造性" 系統。也就是說，你已經確定某一問題該如何有效解決，或是你想要把成型之概念創造成系統，你才適合採用軟體工程裡面的系統分析與設計方式。

而研究方法裡面的系統分析，則是用來解決尚未有明確答案或解法之問題。什麼樣的問題是沒有明確解答的呢？例如：針對一發卡銀行而言，它如何找出合適的核準率與訂定出每個人的信用額度，這樣的問題可能會隨著大環境的改變，而有不同的解法。

為了與軟體工程裡面的系統分析區別，我傾向把這樣的程序稱之為「系統研究」。透過系統研究，你可以對一個系統的本質進行深入的了解，找出系統運作的脈絡，進而對現行系統的徵結設計適當的解法。

在系統研究中，有許多的方法可以讓你深入了解某一系統，我們可以概略的將這些方法區分成質性研究或量化研究。而當我們掌握系統之脈絡後，極可能需要針對系統的目前的問題提出解決方案。這樣的方案，不是我們設計出來就算了，而是需要透過許多方式去驗證這樣的設計的確有效，甚至可能需要透過各種模擬、實驗設計的方式，來驗證設計方案的確可行。

了解問題的終極目標，是要獲得一可控制的系統。透過模擬與預測，我們可以在系統尚未正式上線之前(或是解決措施尚未實施之前)，就了解方案實施的結果。這有點勝兵先勝，而後求戰的味道。

現代商業環境下軟體設計之挑戰

現代的商業環境變化極為迅速，在過往開發專案的經驗中，常發生一些不可避免的現象：

好不容易開發出一個系統，或是甚至系統還沒開發完成，商業環境已經改變，系統從未上線，即已過時。
專案開發曠日費時，不管專案是否完成，客戶發生人事異動，有可能是公司間的整併或裁撤，使專案變成無主孤魂。
對於面對的問題尚未能提出有效的解決辦法，就急著進行產品開發。不成熟的問題(搞不清楚要解決什麼樣的問題)，導致不成熟的設計，再導致不成熟的產品。

區分研究與開發、系統設計與軟體設計

針對以上的現象，我想最好的避免方式，還是將研究案與開發案分開來進行，先進行研究案。

在研究案進行過程中，前半期著重了解問題的本質，後半期著重解決方案的測試與設計。這裡我要強調，研究案也牽扯到設計的部分。這是因為畢竟我們面對的，是商業環境，任何專案成立的要素，必須能讓使用者從中得到利益。所以決不是為研究而研究，而是要設法找出解決問題的方法。

在對問題領域的了解上，我想可以採用質性方法裡面的紮根理論，傳統軟體工程裡面的需求訪談方式，建構出完整的領域架構知識。

而研究案中的設計方式，與開發案中的設計方式實有不同，它會更強調可行性分析與概念的驗證。必須有辦法對設計的有效性提出證明。在設計過程中，需要對解題方案建構出(許多)模型，而這些模型必須具有可模擬、可測試或可驗證的特性。

在程式設計裡面的單元測試中，你會丟入一些資料給測試程式，看看被測單元的執行是否正常。而在研究案的方案設計中，你也會丟入一些資料到你的系統模型中，看看產出是如何。然而這裡所求的通常不是你的模型是否正常，而是從眾多方案中找出一個最佳解。

為了支持研究案的資料分析，你必須有一套有效的統計分析工具，像是統計分析軟體 SPSS 或是 SAS 等等。為了瞭解方案的設計是否有效，你可能還需要一套模擬軟體，這樣軟體隨著應用領域的不同有著很多的多樣化風貌。用 Google 查詢「系統模擬軟體」就能得到一堆。

如果既有的分析模擬軟體都不能滿足你的研究需求，而需要自建軟體，那麼切記一個原則。你必須想辦法萃取出問題領域的通用模型，針對這個模型去設計軟體，而不是把你的解決方案寫死在程式中。如果你把解決方案寫死在程式中，當你變更解題模型時，就得再重寫一次分析或模擬程式，這就退回傳統的開發模式了。

如果你的研究案近期可能得不到一個具體的成果，卻又必須進入開發案(是的，這是一個時不待人的世界)，更必須確實把握上面所述「萃取出問題領域的通用模型」的原則。如此一來，你才能得到一個具有彈性，可以不斷成長與擴充功能的系統。

延伸閱讀

企業研究方法:引述 :『無論是社會科學領域剛入門的新生，或是企業組織中常面臨各種決策的經理人，抑或此兩種角色兼具的EMBA現職學生，如何在一大堆的工具與量表中，快速且正確地找出適合的方法並使用無誤，毋庸置疑地，會是能否優游於企業管理或相關管理科學領域的重要關鍵...』
系統分析在經營決策上的應用:引述 :『本書目的在引導讀者了解處理投資等計畫問題的正確觀念及步驟，內容包括系統分析的意義、其在經營決策上的應用、系統分析的方法與限制、最佳決策方法、計劃分析、貝氏決策理論、成本效益分析、馬可夫分析法、價值分析法、AHP法、資訊系統分析及高速鐵路等三個個案探討。...』

Data Mining 資源

noreply@blogspirit.com (Edward HSIEH) — Wed, 04 Feb 2004 00:00:00 +0800

CRISP-DM - Home: The CRISP-DM project has developed an industry- and tool-neutral Data Mining process model. Starting from the embryonic knowledge discovery processes used in industry today and responding directly to user requirements, this project defined and validated a data mining process that is applicable in diverse industry sectors. This will make large data mining projects faster, cheaper, more reliable and more manageable. Even small scale data mining investigations will benefit from using CRISP-DM.

英文容錯查詢設計

noreply@blogspirit.com (Edward HSIEH) — Wed, 18 Jun 2003 22:45:00 +0800

這是很久之前 (1988?) 設計的英文單字容錯查詢的演算法。

 1.為什麼要有英文單字容錯查詢？    A.因為使用者並不知道他要查詢的資料如何表示。   B.想要查詢相關或相近概念。   C.避免使用者輸入錯誤，提供查詢彈性。  2.英文單字容錯查詢如何實作？    A.逐一字母比較法﹝即1a2b法﹞     針對使用者輸入之關鍵字，由字首開始，每次取出一英文字母，與欲搜尋字串中之每      一個英文字母比較，計算其權重‧‧‧    其優點是不需另外建立其它檔案，缺點是搜尋時速度慢，演算法難設計。   B Soundex 方法.    普遍應用於其它的國內外搜尋引掣中，利用英文語言發音的特性，分割輸入的英文字    串，取得此字串的 "音符"，再針對索引中的其它字串採取同樣方式計算音符，最後    比較這兩個音符是否一樣，若是則代表索引中的其它字串為輸入字串的同音字。   C.特徵法(Edward Sayer)     針對使用者輸入之英文關鍵字，取其特徵，與欲搜尋字串中之英文關鍵字之特徵做比     較，特徵值相近者即可視為搜尋結果。      特徵法之優點是：         a.可加快搜尋速度。         b.演算法簡單。          c.模糊比對彈性大。         d.可搜尋子字串。          e.可與多鍵值邏輯運算查詢同時使用。      特徵法之缺點是：         需另建特徵檔，但特徵檔通常很小，在有五千個不同英文單字的文章中，其特徵         檔的大小為 5000 * 8 = 40000 位元組大小。  3.容錯查詢之考量：     A.使用者漏拼：如 computer 拼成 compter。   B.使用者反拼：如 lulala 拼成 lalalu。   C.使用者多拼：如 color 拼成 colour。   D.概念相近或使用者錯拼：如 HTML 拼成 HGML 或 XML。    E.簡寫：如 World wide web 拼成 WWW。  4.如何解決？    特徵值之抽取～針對每個單字，取兩種特徵。   A.字元特徵。   B.順序特徵。    A.字元特徵之抽取：      取一個 32bits 長的無號整數作為存放特徵的記憶體，我們叫它為特徵池，特徵池的     bits[0]==1時代表原始字串中有字母'a'，bits[1]==1時代表原始字串中有字母'b'，     以此類推。因此，單字 aba 的內容為：      1100 0000 0000 0000 0000 0000 0000 0000 <--共32位元長      ^^^^ ^^^^ ^^^^ ^^^^ ^^^^ ^^^^ ^^^^ ^^^^     abcd efgh ijkl mnop qrst uvwx yz|    |  <--英文字母對應位元位置      6    49  1    3 0  8 57       2|    |  <--阿拉伯數字對應位元位置                                      [    ]  <--字串總長                                          ^ <--英文字母/阿拉伯數字識別碼    B.順序特徵之抽取：      另取一特徵池，其長度也是 32bits ，將欲抽取特徵之單字，依順序，每次取兩個字     母作運算，將會得到一個值，將此值在特徵池中相對位元設為 1。      而此函數之設計：c=f(a,b)，必須使 0 <= c <= 26，故 f(a,b)可以設計成：       f(a,b)     {             if(a >= b)                     return a-b;             else                     return a+26-b;     }   　 5.實例介紹：      A.computer 拼成 compter：     a.字元特徵之抽取：       computer　在特徵池中有 8個位元設為 1       compter   在特徵池中有 7個相同位元設為 1       故字元特徵相似度為：(字串長度 - 不同字元數) / 字串長度，       即 (8-1)/8 == 7/8 #      b.順序特徵之抽取：        computer　的順序特徵為　co om mp pu ut te er       compter　 的順序特徵為　co om mp pt te er       直覺上，順序特徵相似度應該是：7 個特徵值內有 5個相同，故為 5/7。       錯！因為當我們抽取 compter 之特徵時，漏掉對字母 'u'之抽取，而字母 'u'字       影響 pu及 ut兩個特徵，故在 7個特徵值內只有 5個特徵值的比較是有意義的，因       此其順序特徵相似度是 5/(7-1*2) == 5/5 #      c.總特徵相似度為：字元特徵相似度 * 順序特徵相似度，故為～       (7/8) * (5/5) == 7/8 #       八個字元內，有七個字母及順序完全一樣，Bingo!        B.lulala 拼成 lalalu：     a.字元特徵之抽取：       lulala  　在特徵池中有 3個位元設為 1       lalalu    在特徵池中有 3個相同位元設為 1       故字元特徵相似度為　6/6 #      b.順序特徵之抽取：        lulala  　的順序特徵為　lu ul la al la 簡化為 lu ul la al       lalalu 　 的順序特徵為　la al la al lu 簡化為 la al lu       在 4個特徵值內有 3個特徵值相同，因此其順序特徵相似度是 3/4 #       c.總特徵相似度為：       (3/3) * (3/4) == 3/4 #       lulala 與 lalalu 的總相似度為 75%，說不上來為什麼，但覺得很合理！    C.color 拼成 colour：     a.字元特徵之抽取：        color   　在特徵池中有 4個位元設為 1       colour    在特徵池中有 5個位元設為 1，其中有 4個位元與 color相同       故字元特徵相似度為　(5-1)/5 == 4/5 #        * 這裡有兩種看法，就 colour而言，color 跟它的字元特徵相似度為 5/6，而就         color而言，colour它的字元特徵相似度為 4/5。至於如何取捨，就待實驗決定         了！      b.順序特徵之抽取：        color   　的順序特徵為　co ol lo or       colour 　 的順序特徵為　co ol lo ou or       同A，在 3個有意義的順序特徵值內有 3個相同，因此其順序特徵相似度是 3/3 #       c.總特徵相似度為：       (4/5) * (3/3) == 4/5 #       或(5/6) * (3/3) == 5/6 #       哪個值合理，見仁見智！     D. HTML 拼成 HGML 或 XML：     a.字元特徵之抽取：

       HTML    　在特徵池中有 4個位元設為 1       HGML      在特徵池中有 4個位元設為 1，其中有 3個位元與 HTML 相同       XML       在特徵池中有 3個位元設為 1，其中有 2個位元與 HTML 相同

       故字元特徵相似度為

 　       HGML/HTML == (4-1)/4 == 3/4       XML/HTML  == (4-2)/4 == 2/4        * 同樣的，就 HTML而言，XML 跟它的字元特徵相似度為 2/4，而就 XML而言，         HTML它的字元特徵相似度為 2/3。如何取捨？      b.順序特徵之抽取：        HTML    　的順序特徵為　HT TM ML       HGML   　 的順序特徵為　HG GM ML       XML           的順序特徵為　XM ML        同A、C，HTML與HGML在 1個有意義的順序特徵值內有 1個彼此相同，因此其順序特       徵相似度是 1/1 #       HTML與 XML在 1個有意義的順序特徵值內有 1個彼此相同，因此其順序特徵相似度        也是 1/1 #       c.總特徵相似度為：       HGML/HTML == 3/4 #       XML/HTML  == 2/4 #  6.特徵檔如何加速字串串列搜尋速度？    *.以 computer 一字為例子，用逐字元比對時，在最差的情況下，共需八次比對，才能     確定原始字串是否為 computer，而以特徵值比較時，則只需要一至二次比較，即可      得出原始字串是否為 computer。             word list       signature valure     -------------- -----------------     "My"            341234 535466     "computer"      445662 597658      "is"            132456 965345     "white"           :      :     "color"           :      :       "with"            :      :     "windows"         :      :     "NT"              :      :      "operation"       :      :     "system"          :      :     "installed"       :      :  7.搜尋子字串：    A.一個字串包含於另一個字串。   B.字串包含萬用字元。    A.一個字串包含於另一個字串：     如輸入 like，找 dislike, unlike, alike ...     做法至為明顯，不再贅述。    B.字串包含萬用字元。     如輸入 H?ML，找 HTML, HGML ...     就等於找字元特徵為 HML，而順序特徵為 ML 之英文字。      如輸入 co*er，找 commander, coner, computer, container, controler ...      就等於找字元特徵為 coer，而順序特徵為 co 與 er 之英文字。  8.And, or, not查詢：   可以做是可以做，但涉及索引檔及原始檔案內容，再聊吧！   9.借屍還魂大法：　1999/3/30   可以經由演算法，從特徵還原可能的英文單字，不過我目前還想不出這有什麼用途。