技术简介

预训练语言模型具有强大的语言理解和生成能力，然而在特定场景的应用中仍需要进一步调整模型的行为以适配具体需求。我们探索如何利用大模型面向特定场景进行主题可控和角色化的内容生成。综合使用多种前沿的大模型相关技术，我们训练和部署的模型能够针对特定话题，以符合特定角色属性的风格进行观点生成和对话式的生成。

关键技术

指令微调、克服灾难性遗忘、上下文学习、检索增强

利用微博语料构造发帖任务的指令数据，采用高效微调的方式训练发帖模型

采用检索增强的方式实时获取主题相关信息，辅助生成强时效性，内容丰富的文本

利用特定角色的大量对话数据，结合背景知识等信息，进行角色化对话模型训练

以独立模块微调单个角色，通过动态加载方式，在低资源下实现多角色实时调度