请问如何优化数据集的加载啊
#1269
Replies: 1 comment
-
@xox9943 您好,可能是您使用的数据量较大而内存不足,触发了 Linux 内核的 Out Of Memory killer 机制,请问您使用的模型和数据集是什么呢?从代码层面,RecBole 对于数据量过大导致的内存不足问题暂时没有优化的方案。 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
您好,当前我用的是12g的内存,一张tesla v100。图卷积协同过滤这一块,开多个终端加载数据到内存的时候容易kill进程。这个如何优化呢。
Beta Was this translation helpful? Give feedback.
All reactions