distinct评价指标 的合理范围

[zhunipingan]

引用了您的distinct的计算方式，得到的inter distinct2的值大约在0.24 inter distinct1大约在0.08， 请问这种值是正确且有意义的吗，因为与一些论文里的值有一些不同

[qili93]

您好，请问下您这里的distinct评价指标具体是指哪个模型和哪篇论文的复现呢？

[xiemoyuan]

您好，请问下您这里的distinct评价指标具体是指哪个模型和哪篇论文的复现呢？

您好，disticnt指标是论文《A Diversity-Promoting Objective Function for Neural Conversation Models》提出的。

[xiemoyuan]

引用了您的distinct的计算方式，得到的inter distinct2的值大约在0.24 inter distinct1大约在0.08， 请问这种值是正确且有意义的吗，因为与一些论文里的值有一些不同

您好，按计算公式，distinct的值在0到1之间。
与论文中的值有一些不同具体是指哪篇论文呢？方便提供一下复现存在差异结果的简单代码示例吗？

[zhunipingan]

def distinct(seqs):
""" Calculate intra/inter distinct 1/2. """
batch_size = len(seqs)
intra_dist1, intra_dist2 = [], []
unigrams_all, bigrams_all = Counter(), Counter()
for seq in seqs:
unigrams = Counter(seq)
bigrams = Counter(zip(seq, seq[1:]))
intra_dist1.append((len(unigrams)+1e-12) / (len(seq)+1e-5))
intra_dist2.append((len(bigrams)+1e-12) / (max(0, len(seq)-1)+1e-5))

    unigrams_all.update(unigrams)
    bigrams_all.update(bigrams)

感谢耐心回复！ 这里的seqs是不是一个二维数组（代表若干个样本句子），其中每一个句子都用一个数组来表示。我的inter distinct2大约在0.84 而intra distinct2大约在0.95，应该是正常的叭；另外请教一下论文中一般使用的是intra 还是inter的distinct,谢谢！

[gouqi666]

请教一下distinct是计算测试集上的所有n-gram吗

[xiemoyuan]

def distinct(seqs):
""" Calculate intra/inter distinct 1/2. """
batch_size = len(seqs)
intra_dist1, intra_dist2 = [], []
unigrams_all, bigrams_all = Counter(), Counter()
for seq in seqs:
unigrams = Counter(seq)
bigrams = Counter(zip(seq, seq[1:]))
intra_dist1.append((len(unigrams)+1e-12) / (len(seq)+1e-5))
intra_dist2.append((len(bigrams)+1e-12) / (max(0, len(seq)-1)+1e-5))

    unigrams_all.update(unigrams)
    bigrams_all.update(bigrams)

感谢耐心回复！ 这里的seqs是不是一个二维数组（代表若干个样本句子），其中每一个句子都用一个数组来表示。我的inter distinct2大约在0.84 而intra distinct2大约在0.95，应该是正常的叭；另外请教一下论文中一般使用的是intra 还是inter的distinct,谢谢！

请确认下是否使用的是paddlenlp最新的代码：https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/metrics/distinct.py