视觉编码器与语言模型应怎样联合或分阶段训练？

多模态长时序数据的采集与构建方案；ViT视觉编码器与大语言模型LM的训练方式，是联合训练还是分步训练。