虽然大型语言模型(LLM)在文本生成方面展示了令人印象深刻的能力,但我们发现它们的能力尚未推广到音乐(人类的创造性语言)。
我们推出 ChatMusician,这是一个集成了内在音乐能力的开源LLM。它基于在文本兼容的音乐表示、ABC 表示法上对 LLaMA2 进行持续的预训练和微调,并且音乐被视为第二语言。ChatMusician 可以使用纯文本标记器理解和生成音乐,无需任何外部多模式神经结构或标记器。
有趣的是,赋予音乐能力并不会损害语言能力,甚至可以取得略高的 MMLU 分数。我们的模型能够根据文本、和弦、旋律、主题、音乐形式等创作结构良好的完整音乐,超越 GPT-4 基线。
在我们精心策划的大学级音乐理解基准测试 MusicTheoryBench 上,ChatMusician 在零样本设置上明显超越了 LLaMA2 和 GPT-3.5。我们的工作表明,LLM可以成为出色的音乐压缩器,但仍有大量领域有待征服。
我们在 GitHub 上发布了我们的 4B 代币音乐语言语料库 MusicPile、收集的 MusicTheoryBench、代码、模型和演示。
参考文献:
[1] ChatMusician: Understanding and Generating Music Intrinsically with LLM(通过LLM本质上理解和生成音乐)
[2] 论文:https://huggingface.co/papers/2402.16153
[3] 项目:https://shanghaicannon.github.io/ChatMusician/
[4] https://cdn-uploads.huggingface.co/production/uploads/60f1abe7544c2adfd699860c/WDMvwieajdGIJXfJ830Y0.mp4
好文章,需要你的鼓励
在期末之际,OpenAI和谷歌向学生免费提供AI工具:前者短期内开放ChatGPT Plus,后者长期提供Google One AI Premium套件,助力高校数字化转型。
Together AI 最新升级其微调平台,支持浏览器零代码操作、直接偏好优化、续接先前训练任务并调整消息权重,同时新定价更低廉,旨在简化AI模型持续迭代。
本文介绍如何利用人工智能工具 ( 如 ChatGPT ) 来提升工作和家庭的任务效率,通过优化家务分配和数字化会议记录,实现微小节时也能带来显著改变。