词袋模型在自然語言處理和信息檢索裏,词袋模型(英語:Bag-of-words model)是一個簡化的表達模型。在此模型下,一段文本(比如一个句子或是一个文档)可以用一個装着这些词的袋子来表示,這種表示方式不考慮文法以及詞的順序。最近词袋模型也被應用在電腦視覺領域。[1] 词袋模型被廣泛應用在文件分類,詞語出現的頻率可以用來當作訓練分類器的特徵。 關於「词袋」這個用字的由來可追溯到澤里格·哈里斯於1954年在《Distributional Structure》的文章。[2] 範例下列文件可用词袋表示: 以下是兩個簡單的文件: (1) John likes to watch movies. Mary likes movies too.
(2) John also likes to watch football games.
基於以上兩個文件,可以建構出下列清單: [
"John",
"likes",
"to",
"watch",
"movies",
"also",
"football",
"games",
"Mary",
"too"
]
此處有10個不同的詞,使用清單的索引表示長度為10的向量: (1) [1, 2, 1, 1, 2, 0, 0, 0, 1, 1] (2) [1, 1, 1, 1, 0, 1, 1, 1, 0, 0] 每個向量的索引內容對應到清單中詞出現的次數。 舉例來說,第一個向量(文件一)前兩個內容索引是1和2,第一個索引內容是"John"對應到清單第一個詞並且該值設定為1,因為"John"出現一次。 此向量表示法不會保存原始句子中詞的順序。該表示法有許多成功的應用,像是郵件過濾。 Term weighting在上述的範例,文件向量包含term頻率。 在信息檢索和文字分類常用不同方法量term權重。常見方法為tf-idf。 範例:垃圾郵件過濾分類一個郵件訊息,一個貝氏垃圾郵件分類假設訊息是一堆字並且隨機倒在兩堆袋子其中一個袋子裡,之後使用貝氏機率去決定哪個「袋子」(「垃圾郵件袋子」還是「正常郵件袋子」)是較有可能的。 参考文献
參見 |
Index:
pl ar de en es fr it arz nl ja pt ceb sv uk vi war zh ru af ast az bg zh-min-nan bn be ca cs cy da et el eo eu fa gl ko hi hr id he ka la lv lt hu mk ms min no nn ce uz kk ro simple sk sl sr sh fi ta tt th tg azb tr ur zh-yue hy my ace als am an hyw ban bjn map-bms ba be-tarask bcl bpy bar bs br cv nv eml hif fo fy ga gd gu hak ha hsb io ig ilo ia ie os is jv kn ht ku ckb ky mrj lb lij li lmo mai mg ml zh-classical mr xmf mzn cdo mn nap new ne frr oc mhr or as pa pnb ps pms nds crh qu sa sah sco sq scn si sd szl su sw tl shn te bug vec vo wa wuu yi yo diq bat-smg zu lad kbd ang smn ab roa-rup frp arc gn av ay bh bi bo bxr cbk-zam co za dag ary se pdc dv dsb myv ext fur gv gag inh ki glk gan guw xal haw rw kbp pam csb kw km kv koi kg gom ks gcr lo lbe ltg lez nia ln jbo lg mt mi tw mwl mdf mnw nqo fj nah na nds-nl nrm nov om pi pag pap pfl pcd krc kaa ksh rm rue sm sat sc trv stq nso sn cu so srn kab roa-tara tet tpi to chr tum tk tyv udm ug vep fiu-vro vls wo xh zea ty ak bm ch ny ee ff got iu ik kl mad cr pih ami pwn pnt dz rmy rn sg st tn ss ti din chy ts kcg ve
Portal di Ensiklopedia Dunia