近期用13W篇优先作文作了一下GPT2-Chinese训练，并根据训练出的模型随机生成了一些小短文，说不上效果很好，但也颇有些趣味。
下面详述一下过程：
- 首先下载了《创新作文_130000》，并对其进行了一些处理，比如另存为UTF8-BOM格式，将其中的HTML标签替换成\n，最后生成train.json
（1）运行以下python代码，生成训练数据 train.json ‘# -- coding: utf-8 --
import csv
import json
file_path = "创新作文_130000-utf8.csv"
csvfile = open(file_path, 'r', encoding = 'utf-8')
fieldnames = ("分类", "标题", "内容")
reader = csv.DictReader( csvfile, fieldnames)
jsona = []
for row in reader:
jsona.append(row["分类"] + ':' + row["标题"] + '\n' + row["内容"]+ '\n')
csvfile.close()
with open('train.json', 'w') as f:
f.write(json.dumps(jsona, ensure_ascii=False))
（2）将train.json中的html标签替换成\n
import re
reg = re.compile('(<[^>]*>)+')
f = open('train.json','r')
c = f.read()
w = str(c)
s = reg.sub('\n',w)
f.close()
t = open('train2.json','w')
t.write(s)
- 采用https://github.com/Morizeyao/GPT2-Chinese （感谢@Morizeyao）的train.py进行训练
nohup python train.py --device=0,1 --batch_size=2 --raw &
在训练了40个小时之后才完成
time for one epoch: 7:56:22.715500
time for one epoch: 7:56:14.356660
time for one epoch: 7:56:16.044002
time for one epoch: 7:56:32.963226
time for one epoch: 7:56:33.915458
- 采用生成的模型来生成一些文本，效果如下
python generate.py --device=0,1 --model_path=model/final_model --prefix="感想:我是一只猪" （如果以"[CLS][MASK]"为前辍表示自由生成）
感想:我是一只猪,不能随便乱吃。我是个爱吃鬼。 我家有三只小白猪,一共有三只小白猪,我们每天吃的是猪粮,一个是小白猪,一只是猪头,一只是小白猪,一只是猪头,另一只是小白猪头,一只是猪肚子,一只是小黑 猪脑子,另一只是小黑猪肚子。有一次，我在家里做作业，正在做作业，老师叫来同学去帮我看，我看见小黑猪脑子里装着什么东西，于是我就说：“你看，你看，我看，你看！”老师说：“ 那是小黑猪脑子，不会是猪脑子！”小黑猪脑子里装着什么东西，我想：我要把它的东西全部拿走就行了。于是，我就拿着它的东西，把我的东西全部拿走了。小黑猪脑子里装着什么东东，我就拿着它的东西向家奔去，一路上，我一直在想：这小黑猪脑子有东西了，怎么办呢？突然，我看见有两只小黑猪正在打扫着房子的小黑猪，我问他：“怎么办，小黑猪脑子里装的是什么，我们来帮帮你看。”他们看了这两只小黑猪脑子，又说：“你看你的东西是什么，我们来帮你看看吧。”于是，我又把它们送回了家，在那里我把它们的东西全部拿走了。于是我就把它们一人扔进了垃圾堆，我拿着它们的东西，跑了。 我们的生活也越来越好了。
我是一只猪，我有许多兄弟姐妹都叫我“猪”。我有一双“猪”，而我却有许多哥哥姐妹。因为我和弟弟姐妹们是“猪猪”。 那天，我们正在吃早饭，爸爸妈妈都在家。我和弟弟姐妹们正准备吃饭，忽然，我看见了一张纸条，上面写： “我们是肉饼，我们是肉饼，我们是肉饼。我们的蛋饼里面含有丰富的肉和糖、肉，你吃过吗？” “我们是肉饼，我们是肉饼。我们的肉饼里面含有许多的肉和糖。所以，我们是肉饼，你吃过吗？” “我们是肉饼。我们会吃。你吃过吗？” “当然，我和弟弟姐妹们会吃，我们会吃。你们吃的话，我们会吃！” 爸爸妈妈说完，他们就把蛋饼拿了出来。 “这个蛋糕很好吃，我们是猪肉。我们会吃。” “好！”我们说。 我们一边吃着，一边看着，一边说：“真香！”
在我的记忆中，有一只猪的身影是我的伙伴，他的名字叫“小猪”。 在我的记忆中，有一次，我正在玩耍时，我忽然发现了我的小伙伴，他的名字叫“小小猪”。他的名字叫“猪猪”，是我的好朋友，他给我起了一个名字，叫“ 小猪们”。我的小伙伴们，有时候我也会叫他“小小猪们”，他们都是我的好朋友，他们都很好！我的朋友很多！我也很喜欢这个名字，因为他叫“猪猪”。 小猪们，你们喜欢我吗？
我是一只可爱的小猪。我有一双小黑眼睛。每当我生气的时候，我总会跑去看我喜欢的动漫。每当我遇到不懂的问题的时候，我总会跑到我喜欢的角落里，一边 给我讲解。有时也会和朋友一起玩耍，一会儿在我的小床上放着一个很大的摇篮，还有我的小伙伴们在我的旁边玩耍．．．．．．我有一只小猪，一只是我的小猪呀，我有一个小朋友，一只是妈妈，我也有一个朋友。我的生活中有一个大大的圈圈．．．．．． 在我的生活中有一种美好的感觉。我有一个快乐的小伙伴。我的家乡，有一个小小的村庄，有一个小小的村庄，村庄也不错，村里面的人都很喜欢我。每当这个 时候，我都会跑到小溪边，和小伙伴们玩耍，捉螃蟹。每当这个时候我都会把小鱼放下来，让小鱼们自由自在的游来游去。我有一个温馨的家。我很喜欢这个小村庄。 我的家是一个美丽的小村庄，我很爱这个美丽的小村庄。 我爱我的家乡！
我是一只小猪。 我有一双水灵灵的大眼睛，我的鼻子下面有一张能说会道的嘴。我的嘴巴下面有两只红红的小嘴，这两个小嘴里面有许多小洞，里面有许多我不愿看到的小生灵 ，我们每人都在想办法去把它们吞下来。我有一个可爱的妈妈，她的脸上总是挂着笑容。 我有一双水灵灵的大眼睛，那一张能说会道的嘴。有一次，我的肚子痛得厉害，我的肚子痛得厉害。妈妈见了，急忙叫醒我说：“快去把小猪吃掉。”可我还是 坚持把小猪咽下去了，我还是坚持着。我有一个可爱的妈妈，她有两个小孩子：我叫她小猪。小猪们都说我是一个大胖儿，有一次我和小猪们在吃饭。我把小猪们吃完了，就去看小猪们，她们看见我 吃得正香呢！我们就在小猪们的肚子里面玩耍，小猪们都说我的肚子很可爱，我很开心。小猪们在一块玩耍，我就和小猪们一起玩。
我是一只猪，我的名字叫做“猪肉王”。
我是一只猪， 在一个温暖的夜晚， 一个美丽温馨的家庭； 我是一只猪， 在一个热热的夜晚， 一个温馨的家庭。 我是一只猪， 在我的温床上， 一只温馨的母鸡。 我是一只猪， 在一个温馨的家庭， 一个温馨、快乐的家！
大家好,我是一只猪,一只猪. 我生活在一个美丽的小山村里,生活在农村里的每一个角落,我的兄弟姐妹们都非常好,有许多人为我们做贡献,我们都有一颗好奇的心,我们也有一颗好奇的心. 我们有的兄弟姐妹有很多,有的兄弟姐妹也有很多,还有的人为我们做了许多贡献,我们都希望我们能为祖国做贡献!
我家的猪，我的妈妈，我是大名鼎鼎的猪。我有一对大耳朵，妈妈是一只大耳朵，我的爸爸妈妈是猪头，爸爸妈妈是猪头，爸爸妈妈是猪头。 我还有一个特殊的妈妈，就是我的爸爸妈妈。 每天，我吃过晚饭，都要吃到爸爸妈妈那温暖的大肚子里去，我的妈妈总是不停地说：“宝贝儿，吃饱了，快快吃，你的爸爸妈妈在哪儿呢？”“快点儿，我们 回去了。”“快点儿，我们去吃东西吧。”“好。”我们一起吃。吃完饭，我和妈妈出去了。在路上我看到了一只老鸭，他的妈妈很可怜，它的妈妈是一只黑色的，它的妈妈是一只小黑鸭，我就问爸爸妈妈，他们说：“宝贝儿 ，快走吧，你妈妈不饿。”“不吃，妈妈不饿，我不饿你。”“宝贝儿，快走吧，我们回去吧。”我们回头看了看，说。到了回家的路上，我们看到了一只母鸭。它的妈妈身上有一双黑色的大眼睛，眼珠是那么的圆，眼睛是那么的大，眼睛里面有一道红色的伤疤，它的妈妈很凶， 它的妈妈很凶，它的妈妈很凶。有一次，我在看《小王子》，突然，妈妈的妈妈看见了我的妈妈，她看到了我的爸爸妈妈，他们就把我和妈妈分开了。
我是一只猪，我的名字叫小猪。我的名字叫小猪。我的性子特别贪吃，每天都要吃一些小猪食品，我们吃了一些猪食。我的名字叫小猪，我的名字叫小猪。 我的名字叫小猪。我的名字叫猪。 我的名字叫小猪。小猪是我家的猪。我家很穷，我们家有一个蛋糕店，那儿有很多很多，但每次吃到蛋糕店，我们都吃了一些蛋糕，我们就吃了一些蛋糕，我们 吃的是蛋糕，我们吃的是蛋糕。我们都吃了一些蛋糕，我们吃的是蛋糕，我们吃的是蛋糕，我们吃的是蛋糕，我们吃的是蛋糕，我们吃的是蛋糕，我们吃的是蛋糕，我们吃的是蛋糕，我们吃的是蛋糕和蛋糕，我们吃的是蛋糕，我们吃的是蛋糕，我们吃的是蛋糕，我们吃的是蛋糕和蛋糕，我们吃的是蛋糕，我们吃的是蛋糕和蛋糕，我吃的是蛋糕。我们吃的是蛋糕，我们吃的是蛋糕，我们吃的是蛋糕，我们吃的是蛋糕和蛋糕，吃的是蛋糕，就吃了蛋糕，吃完了蛋糕，我们就吃蛋糕了，我们吃的是蛋糕。我们的生活就是一个家，我们的家很温馨，我们的家就更加幸福了。
我是一只猪。 有一天，我正在睡觉；我正在做作业。突然，我听见了妈妈在叫我：“快点起来！”我赶紧闭上眼睛，想要去看看那只可爱的小猪，可我睁不开眼，我睁开眼看 见了妈妈，妈妈正在用一根小棍把我拎到一棵高大的树下，看我醒来时，发现树下有只小猪，我赶紧跑过去，对妈妈说：“小猪你怎么那么慢啊？快点起来！”“快点起来！小猪你怎么那么慢呢？”妈妈急忙说。“快点起来！”小猪说。妈妈把小猪抱回了家。第三天，我早早的起床了，可我还以为是一只可爱的小猪呢！我看见妈妈在看电视，我心想：这可是一条小狗啊！可以看小兔的故事呀！“快点起来！”妈妈叫 了我一声，我一转身就看见了妈妈的小兔，妈妈正在看报，妈妈正在看报呢。“快点起来！”我高兴地说。“快点起来！”我兴奋地叫，可妈妈还在看报呢！“快点起来！”小猪说。我看见了妈妈正在吃早饭，于是赶紧起来做了。妈妈看我睡觉，她还在睡觉呢！
我是一只猪 我的家是一个温暖的家[UNK][UNK] 我的家住着许多的猪。 我的母亲就像一位慈祥的母亲。 我的母亲就像一位慈祥的母亲。 我们家的母亲就像一个慈祥的母亲。 我爱我的母亲。 我的母亲就像一只温暖的小羊。 我的母亲就像一只可爱的小羊。 我的母亲就像一位温柔的母亲。 我的母亲就像一位严厉的母亲。 我的母亲就像一个慈祥的母亲。 我的母亲就像一个慈祥的母亲。 我的母亲就像一位无私的母亲。
我是一只猪，一只猪。 我有着一张圆圆的嘴巴，它们一张一合的，好像在说：“我是猪。” 我有着很强大的肚皮和一张圆圆的脸，一个圆圆的鼻子，一个大大的嘴巴。 我有两张圆圆的脸。 我有一个圆圆大大的鼻子。 我有一个红红的嘴巴。 我有一个红红的嘴巴。 我的肚子有一个红红的小嘴。 我有一张红红的嘴巴。 我还有一张红红的嘴巴。 我还有一张红红的嘴巴。 我还有一个红红的嘴巴。
感想:我是一只猪，因为我是一只猪，因为我有着一颗纯洁的心.
我是一只猪
我是一只猪 一只猪 我要吃奶的时候
我的身体会突突的抖动， 我的头发会被风刮的凌乱， 我的头发会被风吹的凌乱， 然后我的身体会被风吹的沙沙作响， 然后我的身体会被风吹的摇摇晃晃， 然后我被吹的沙沙作响， 然后我就会被风一吹， 然后我就会被风的一阵狂吹， 然后我就被风吹的东倒西歪， 然后我就会被吹的东倒西歪， 然后我就会被风吹的东倒西歪， 然后我就会被风吹到地上， 然后我就被风一吹， 然后我就会被风一吹， 然后我就死了。
我是一只小猪。 每天吃完饭我都要在门口大口大口的吃着，我知道我是个贪吃的孩子。
我是一只很普通的猪。 每天晚上我都能吃上一点点，然后我就要把一个个小小的猪食给吃完。 我的妈妈说过一句话：“猪食是一种生活习俗”。每天我都要去睡觉，我知道我是个好妈妈。 我不知道怎样才能吃上一点猪食。 我是一只很普通的猪，我的妈妈说我的妈妈是个很普通的猪。我知道她是个很普通的猪。 我是一只小猪，我很喜欢看猪食，所以我不喜欢听猪食。但我很喜欢听猪食的故事。我的妈妈说猪食的味道非常好，很好吃。 我是一只很普通很普通的猪。
我是一只猪，一只普通的猪。 在一个寒冷的冬夜里，我被一只可恶的大狗叼走了。这是我的家乡，它们在寒冷的冬夜里，吃着甜甜的冰棍。我的母亲也是这样，她每天早晨都会起床，为我洗 衣服，做早餐。她每天要早早起床，为我缝衣服，为我做早餐，我每天都很早起床。 我是一只小猪，一只普通的猪。我的母亲是一只普通的猪。一只普通的猪。 在一次寒冷的深夜里，母亲突发奇想，想把我送到人间，让我做我的朋友。她在做什么呢？一位好心人帮忙。 我的母亲是一只猪。 在一个寒冷的深夜里，母亲用温暖的大手为我做了家务、做了一顿丰盛的晚餐。 我的母亲是一只猪。一只普通的猪。 在一个寒冷的冬夜里，我的母亲为我做好了家务，为我做好了家务，让我的母亲过上好的生活，她还为我做好了一桌丰盛的晚餐呢!
我是一只小猪。我的生活是一只小猪。一只大猪的母亲是一个普通的人。我的母亲是一只可恶的大猪。我在家里，母亲不管在什么地点，我都会认真地听她的话 ，直到她把我带回家，让我在家里学习，直到她把我带到家。我的母亲是一只小猪。我的母亲是一只普通的大猪，她有着我的父亲，我的母亲不管做什么，我都会认真地听她的话，让他们也知道自己不能吃东西。
“猪，我是一只猪。”我叫了一声，“猪，我是一只老鼠，今年春天，老鼠把它吃了，你们一起吃吧。”小猪说。我一听，马上从床上跳起来，大叫一声：“啊[ UNK][UNK]！”我被吓醒了。小猪赶紧从床上站了起来，“我是一只老鼠，今年春天，老鼠把我吃了，吃了这个，你们一定很高兴吧？”“好啊。”我说。小猪一听，高兴的跳了起来，我连忙去问猪：“猪，你能让一只老鼠吃吗？”猪说：“能！”于是我又去问猪：“小猪，你能让一只老鼠吃吗？”猪说：“可以。”于是我又去问猪：“你能让一只老鼠吃吗？”猪说：“可以。”于是我又去问小猪：“猪，你能让一只老鼠吃吗？”猪说：“可以。”于是我又去问小猪：“猪，你能让一只老鼠吃吗？”“可以。”小猪说。于是我又去问猪：“猪，你能让一只老鼠吃吗？”“可以。”猪说。猪说：“不行。”于是我又去问小猪：“猪，你能让一只老鼠吃吗？”“能！”猪说。于是我又去问小猪：“你能让一只老鼠吃吗？”“能！”猪说。于是我又去问小猪：“你能让一只老鼠吃吗？”“不行。”小猪说。于是我又去问大猪：“猪，你能让一只老鼠吃吗？你能使一只老鼠吃吗？”于是我又去问小猪：“可以。”
今天，我终于明白：人的一生，有两样东西，两边有两样东西，一样是无价的。 我是一只猪，我生活在一个充满欢声笑语的世界里，一个充满欢声笑语的世界。 我是一只猪，我的名字叫做猪。
#感觉生成文章的效果还不错！ ：）