虽然大型语言模型(LLM)在文本生成方面展示了令人印象深刻的能力,但我们发现它们的能力尚未推广到音乐(人类的创造性语言)。
我们推出 ChatMusician,这是一个集成了内在音乐能力的开源LLM。它基于在文本兼容的音乐表示、ABC 表示法上对 LLaMA2 进行持续的预训练和微调,并且音乐被视为第二语言。ChatMusician 可以使用纯文本标记器理解和生成音乐,无需任何外部多模式神经结构或标记器。
有趣的是,赋予音乐能力并不会损害语言能力,甚至可以取得略高的 MMLU 分数。我们的模型能够根据文本、和弦、旋律、主题、音乐形式等创作结构良好的完整音乐,超越 GPT-4 基线。
在我们精心策划的大学级音乐理解基准测试 MusicTheoryBench 上,ChatMusician 在零样本设置上明显超越了 LLaMA2 和 GPT-3.5。我们的工作表明,LLM可以成为出色的音乐压缩器,但仍有大量领域有待征服。
我们在 GitHub 上发布了我们的 4B 代币音乐语言语料库 MusicPile、收集的 MusicTheoryBench、代码、模型和演示。
参考文献:
[1] ChatMusician: Understanding and Generating Music Intrinsically with LLM(通过LLM本质上理解和生成音乐)
[2] 论文:https://huggingface.co/papers/2402.16153
[3] 项目:https://shanghaicannon.github.io/ChatMusician/
[4] https://cdn-uploads.huggingface.co/production/uploads/60f1abe7544c2adfd699860c/WDMvwieajdGIJXfJ830Y0.mp4
好文章,需要你的鼓励
据《华尔街日报》近日报道,IBM公司正在就收购基础设施管理供应商HashiCorp公司进行深入谈判。
亚马逊云科技已经将项目开发套件(PDK)蓝图引入其CodeCatalyst DevOps工具当中。
各大奢侈品牌一直广泛运用基础AI技术开展数据分析,借此预测需求、管理供应链并支持其他运营用例,但近期生成式AI的爆发式演进将AI技术提升到了新的水平,既带来种种前所未有的机遇、也造就意想不到的挑战。