首先看一下来自Wolfram的定义
马尔可夫链是随机变量{X_t}的集合(t贯穿0,1,...),给定当前的状态,未来与过去条件独立。
Wikipedia的定义更清楚一点儿
...马尔可夫链是具有马尔可夫性质的随机过程...[这意味着]状态改变是概率性的,未来的状态仅仅依赖当前的状态。
马尔可夫链具有多种用途,现在让我看一下如何用它生产看起来像模像样的胡言乱语。
算法如下,
- 找一个作为语料库的文本,语料库用于选择接下来的转换。
- 从文本中两个连续的单词开始,最后的两个单词构成当前状态。
- 生成下一个单词的过程就是马尔可夫转换。为了生成下一个单词,首先查看语料库,查找这两个单词之后跟着的单词。从它们中随机选择一个。
- 重复2,直到生成的文本达到需要的大小。
代码如下
import random class Markov(object): def __init__(self, open_file): self.cache = {} self.open_file = open_file self.words = self.file_to_words() self.word_size = len(self.words) self.database() def file_to_words(self): self.open_file.seek(0) data = self.open_file.read() words = data.split() return words def triples(self): """ Generates triples from the given data string. So if our string were "What a lovely day", we'd generate (What, a, lovely) and then (a, lovely, day). """ if len(self.words) < 3: return for i in range(len(self.words) - 2): yield (self.words[i], self.words[i+1], self.words[i+2]) def database(self): for w1, w2, w3 in self.triples(): key = (w1, w2) if key in self.cache: self.cache[key].append(w3) else: self.cache[key] = [w3] def generate_markov_text(self, size=25): seed = random.randint(0, self.word_size-3) seed_word, next_word = self.words[seed], self.words[seed+1] w1, w2 = seed_word, next_word gen_words = [] for i in xrange(size): gen_words.append(w1) w1, w2 = w2, random.choice(self.cache[(w1, w2)]) gen_words.append(w2) return ' '.join(gen_words)
为了看到一个示例结果,我们从古腾堡计划中拿了沃德豪斯的《My man jeeves》作为文本,示例结果如下。
In [1]: file_ = open('/home/shabda/jeeves.txt') In [2]: import markovgen In [3]: markov = markovgen.Markov(file_) In [4]: markov.generate_markov_text() Out[4]: 'Can you put a few years of your twin-brother Alfred, who was apt to rally round a bit. I should strongly advocate the blue with milk'
[如果想执行这个例子,请下载jeeves.txt和markovgen.py
马尔可夫算法怎样呢?
- 最后两个单词是当前状态。
- 接下来的单词仅仅依赖最后两个单词,也就是当前状态。
- 接下来的单词是从语料库的统计模型中随机选择的。
这是一个示例文本。
复制代码 代码如下:"The quick brown fox jumps over the brown fox who is slow jumps over the brown fox who is dead."
这个文本对应的语料库像这样,
{('The', 'quick'): ['brown'], ('brown', 'fox'): ['jumps', 'who', 'who'], ('fox', 'jumps'): ['over'], ('fox', 'who'): ['is', 'is'], ('is', 'slow'): ['jumps'], ('jumps', 'over'): ['the', 'the'], ('over', 'the'): ['brown', 'brown'], ('quick', 'brown'): ['fox'], ('slow', 'jumps'): ['over'], ('the', 'brown'): ['fox', 'fox'], ('who', 'is'): ['slow', 'dead.']}
现在如果我们从"brown fox"开始,接下来的单词可以是"jumps"或者"who"。如果我们选择"jumps",然后当前的状态就变成了"fox jumps",再接下的单词就是"over",之后依此类推。
提示
- 我们选择的文本越大,每次转换的选择更多,生成的文本更好看。
- 状态可以设置为依赖一个单词、两个单词或者任意数量的单词。随着每个状态的单词数的增加,生成的文本更不随机。
- 不要去掉标点符号等。它们会使语料库更具代表性,随机文本更好看。
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
更新日志
2024年11月20日
2024年11月20日
- 柏菲·珞叔作品集《金色大厅2》限量开盘母带ORMCD[低速原抓WAV+CUE]
- Gareth.T《sad songs(Explicit)》[320K/MP3][29.03MB]
- Gareth.T《sad songs(Explicit)》[FLAC/分轨][152.85MB]
- 证声音乐图书馆《海风摇曳·盛夏爵士曲》[320K/MP3][63.06MB]
- 龚玥《金装龚玥HQCD》头版限量[WAV分轨]
- 李小春《吻别》萨克斯演奏经典[原抓WAV+CUE]
- 齐秦《辉煌30年24K珍藏版》2CD[WAV+CUE]
- 证声音乐图书馆《海风摇曳·盛夏爵士曲》[FLAC/分轨][321.47MB]
- 群星 《世界经典汽车音乐》 [WAV分轨][1G]
- 冷漠.2011 《冷漠的爱DSD》[WAV+CUE][1.2G]
- 陈明《流金岁月精逊【中唱】【WAV+CUE】
- 群星《Jazz-Ladies1-2爵士女伶1-2》HQCD/2CD[原抓WAV+CUE]
- 群星《美女私房歌》(黑胶)[WAV分轨]
- 郑源.2009《试音天碟》24BIT-96KHZ[WAV+CUE][1.2G]
- 飞利浦试音碟 《环球群星监听录》SACD香港版[WAV+CUE][1.1G]