PaddleMIX 快乐开源活动 (2024 Q4)

[luyao-cv]

📣PaddleMIX 快乐开源活动

旨在鼓励更多的开发者参与到飞桨大模型套件的开源建设中，帮助社区修复 bug 或贡献 feature，共建飞桨。

🔥热身任务

跑通 Stable-Diffusion 的训练推理流程，通过完成本任务，可以收获对时下火热的文生图SD模型的hands on感受与理解，也可以快速上手PaddleMIX。

• 【PaddleMIX 热身打卡】跑通 Stable-Diffusion 训练推理 #273

🌈命题任务

命题任务是我们总结整理大模型套件的需求得出，每个任务上标注了任务难度，大家可以选择参与。欢迎对这些需求感兴趣的开发者参与到这些任务的开发✌️✌️。在开发过程中，你能进行包括任务分解、代码撰写等工作，还会有飞桨的研发全程和你一起解决可能遇到的问题。还等什么，快来参与吧。🎉🎉

认领方式

请大家以 comment 的形式认领任务，如：

【报名】：1、3、12-13

多个任务之间需要使用中文顿号分隔，报名多个连续任务可用横线表示，如 2-5
PR 提交格式：在 PR 的标题中以 【PPMix No.xxx】 开头，注明任务编号

看板信息

任务方向	任务数量	提交作品 / 任务认领	提交率	完成	完成率
飞桨多模态大模型快乐开源活动	41	5 / 35	12.2%	3	7.32%

统计信息

排名不分先后 @nemonameless (1) @luyao-cv (1) @WFLiu0327 (1)

任务列表

多模态理解

mentor: @luyao-cv (1-10) @nemonameless (11-18)

做多模态理解任务推理的可以参考基于PaddleMIX的实现MiniCPM-V-2_6多模态模型推理：https://aistudio.baidu.com/projectdetail/8582824

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
1	Qwen2-VL训练下游任务案例文档	文档完善	添加Qwen2-VL训练下游任务的案例文档参照 ms-swift qwen2-vl最佳实践	🌟	P0	@yinfan98
2	添加LLaVA、Qwen2-VL模型单测	单测	提交test_llava.py和test_qwen2vl.py单测，脚本参照 文件	🌟	P0	@yangrongxinuser @little1d
3	Qwen2-VL LoRA训练	模型训练	支持Qwen2-VL-2B的LoRA训练	🌟🌟	P0	@FrankShi9 @sunnychenxiwang
4	LLaVA-OneVision 模型推理	模型复现	llava-onevision-qwen2-0.5b-ov、llava-onevision-qwen2-7b-ov和llava-onevision-qwen2-7b-ov-chat推理对齐	🌟🌟	P1	@nemonameless #796
5	LLaVA-Video-7B-Qwen2推理	模型复现	LLaVA-Video-7B-Qwen2 推理对齐	🌟🌟	P1	@XavierZXY
6	Ovis-1.6系列模型推理	模型复现	Ovis1.6-Gemma2-9B推理对齐	🌟🌟🌟	P1	@yangrongxinuser
7	Aria 模型推理	模型复现	Aria推理对齐	🌟🌟🌟	P1	@yangrongxinuser
8	POINTS-Qwen-2-5模型推理	模型复现	POINTS-Qwen-2-5-7B-Chat推理对齐	🌟🌟	P3	@wwwuyan
9	Molmo 模型推理	模型复现	Molmo-7B-D-0924推理对齐	🌟🌟	P3	@baixiaochun123
10	MiniCPM-V 2.6 推理	模型复现	MiniCPM-V-2_6推理对齐	🌟🌟🌟	P0	@JiehangXie @luyao-cv #825
11	Emu3 多模态理解和生成推理	模型复现	Emu3-Chat和Emu3-Gen 均推理对齐	🌟🌟🌟	P0	@yyh-rain-song
12	Janus 多模态理解和生成推理	模型复现	Janus推理对齐	🌟🌟🌟	P0	@cheng221
13	InternLM-XComposer2.5模型推理	模型复现	InternLM-XComposer2.5-7B 推理对齐	🌟🌟	P1	@little1d
14	DocOwl2模型推理	模型复现	DocOwl2 推理对齐	🌟🌟	P2	@Eimy-san
15	cambrian-8B推理	模型复现	8B模型推理对齐	🌟🌟	P2	@kineast
16	Mono-InternVL推理	模型复现	Mono-InternVL-2B 推理对齐	🌟🌟	P2	@ZHOU05030
17	Chameleon模型推理	模型复现	chameleon-7b推理对齐	🌟🌟🌟	P2
18	DeepSeek-VL 推理	模型复现	7B模型和1.3B模型推理对齐	🌟🌟🌟	P3	@xu8117

多模态生成

mentor：@westfish (19-26)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
19	PPDiffusers推理页文档	文档完善	完善inference页面文档，补齐pipelines	🌟	P0	@WFLiu0327 #815
20	SD3单测	单测	完善SD3单测tests/pipelines/stable_diffusion_3	🌟🌟	P0	@WFLiu0327
21	FLUX推理	模型复现	FLUX推理对齐，可参考diffusers-flux	🌟🌟🌟	P0	@little1d
22	SD3.5适配	模型复现	SD3.5推理适配，支持stable-diffusion-3.5-large	🌟🌟	P0	@javey-q @zade23
23	SD3特色应用	特色应用	基于SD3构建特色创意应用applications/SD3，提供gradio和ipynb	🌟🌟🌟	P0	@fxy1699
24	Cogview3推理	模型复现	Cogview3-plus推理对齐，可参考diffusers-cogvidw3	🌟🌟	P1	@zade23
25	Kolors推理	模型复现	Kolors推理对齐，可参考diffusers-kolors	🌟🌟	P1	@Sylence8
26	Latte推理	模型复现	Latte推理对齐，可参考diffusers-latte	🌟🌟	P1	@Eimy-san

数据工程

mentor: @lyuwenyu (27, 30, 31) @LokeZhou (28, 29)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
27	datacopilot首页文档	文档完善	通过了解多模态大模型的数据处理流程，和使用datacopilot的体验，写一篇适合新手入门的tutorial	🌟	p0	@yangrongxinuser #823 #834
28	ExplainableVQA推理	模型复现	ExplainableVQA推理对齐	🌟🌟	p0	@Victor-Bayim
29	sam2推理	模型复现	sam2推理对齐，并接入appflow	🌟🌟	p0	@ndyysheep
30	QuRating推理	模型复现	QuRating推理对齐，接入datacopilot	🌟🌟🌟	p1	@ndyysheep
31	SQ-LLaVA推理	模型复现	SQ-LLaVA推理对齐，接入datacopilot	🌟🌟🌟	p1

音频方向

mentor: @luyao-cv (32-35)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
32	SVC 复现	模型复现	训练和推理对齐，并接入models	🌟🌟🌟	p0
33	Bert-VITS2 复现	模型复现	训练和推理对齐，并接入models	🌟🌟🌟	p0
34	RVC 复现	模型复现	训练和推理对齐，并接入models	🌟🌟🌟	p0
35	Diffsinger 复现	模型复现	推理对齐，并接入models	🌟🌟	p0	@swagger-coder

新增任务

mentor: @luyao-cv (36-37) @westfish (38) @nemonameless (39-41)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
36	MiniCPM-V 2.6 完善	技术文档	1. 参考，接入视频推理脚本 2. 参考模型文件，写一份推理文档说明。	🌟	p0	@mikemikimike
37	Qwen2vl 代码解析+使用流程	技术文档	1. 完成 Qwen2-VL 多模态模型的详细代码解析 2. 编写完整的环境配置 3. 提供模型训练与推理的示例代码 合入到此处：paddlemix/examples/qwen2_vl	🌟	p0	@yangrongxinuser #832 @sunnychenxiwang
38	SD3 代码解析+使用流程	技术文档	1. 完成 Stable Diffusion 3.0 核心架构解析 2. 提供完整的训练流程文档，参考，ppdiffusers/examples/dreambooth/README_sd3.md 3. 编写模型推理与部署指南，参考ppdiffusers/deploy/sd3 合入到此处：ppdiffusers/examples/stable_diffusion_3	🌟	p0	@javey-q
39	mPLUG-Owl3推理	模型复现	1B模型 推理对齐	🌟🌟🌟	p3	@sunnychenxiwang
40	LongVA-7B推理	模型复现	LongVA-7B 推理对齐	🌟🌟🌟	p3	@Neo-WY
41	LongLLaVA-9B推理	模型复现	LongLLaVA-9B推理对齐	🌟🌟🌟	p3

[yinfan98]

【报名】：1

[fxy1699]

【报名】：23

[WFLiu0327]

【报名】：19、20

[JiehangXie]

【报名】：10

[JiehangXie]

这是自动回复邮件。   您好，您的邮件已到达我的邮箱，我将尽快查阅并回复，谢谢。Hello, I have reveived your email. But due to the time differences and my busy work, perhaps I will reply to you in 24 to 48 hours.

[XavierZXY]

【报名】：5

[yangrongxinuser]

【报名】：27

[zade23]

【报名】：22、24

[swagger-coder]

【报名】：35

[Victor-Bayim]

【报名】：28

[hujianming8163]

报名

[baixiaochun123]

【报名】：9

[Eimy-san]

【报名】：14、26

[Sylence8]

【报名】：25

[wwwuyan]

【报名】：8

[kineast]

【报名】：15

[ndyysheep]

【报名】：29

[ndyysheep]

【报名】：30

[ZHOU05030]

【报名】：16

[little1d]

【报名】：21

[cheng221]

【报名】：12

[yangrongxinuser]

【报名】：2、6、7

[little1d]

【报名】：2

[little1d]

【报名】：13

[xu8117]

【报名】：18

[yangrongxinuser]

【报名】：37

[yyh-rain-song]

【报名】：11

[sunnychenxiwang]

【报名】：3、37、39

[luyao-cv]

做多模态理解任务推理的可以参考：https://aistudio.baidu.com/projectdetail/8582824

注：
troch 转 paddle 代码工具：https://github.com/PaddlePaddle/PaConvert
要求对齐转paddle后的推理效果，需要转换权重和代码。
项目可以参考internvl2, llava-onevision: https://github.com/PaddlePaddle/PaddleMIX/tree/develop/paddlemix/examples/llava_onevision
权重转换脚本可以参考：主要是一些key的名字，顺序要转换。
https://zhuanlan.zhihu.com/p/721998033 万字干货分享！基于PaddleMIX实现InternVL2多模态模型推理
https://aistudio.baidu.com/projectdetail/8582824

[Neo-WY]

【报名】：40

[mikemikimike]

【报名】：36

[yangrongxinuser]

@yangrongxinuser PR赛题编号【37】不存在

@luotao1 在这里哇

[yangrongxinuser]

@yangrongxinuser PR赛题编号【37】不存在

那请问老师Qwen2vl代码解析+使用流程这个任务的最新赛题编号是多少呢，我看上面写的是37

@luotao1