图数据库厂商Neo4j公司今日发布了Infinigraph,称其为分布式图技术的重大进步。
该公司表示,这一架构允许用户在单一图数据库平台上同时运行操作和分析工作负载,处理规模超过100TB,且无需分割图结构、复制基础设施或影响性能。
经过两年多的开发,Infinigraph解决了事务系统与分析工作负载协调的问题。Neo4j的早期版本需要在单台物理计算机上运行,这意味着组织必须使用提取/传输/加载管道、同步或多个数据库来处理大量数据。
Infinigraph通过使用分片技术解决了这一限制。分片是一种将大型数据集拆分为更小、更易管理片段的数据库技术,可支持数十亿关系和数千个并发查询跨多个处理器执行,同时保持事务场景所需的原子性、一致性、隔离性和持久性(ACID)特性。
该公司可以在多台机器间对图数据进行分片,同时保持其逻辑一致性,实现数据的自动分发和扩展,无需应用程序重写或人工干预。
Neo4j表示,新架构允许客户将数千万文档作为向量直接嵌入图中。这使得欺诈检测、产品知识图谱、长期合规监控和语义搜索等用例能够在更大、更丰富的数据量上进行。
Neo4j技术总裁Sudhir Hasbe表示:"我们现在能够在Neo4j数据库中支持数十亿个向量。这在生命科学领域特别有用,公司需要处理数千万份科学文档进行药物发现。过去,这些文档是孤立的。现在,它们可以直接嵌入到图中。"
四年前,Neo4j通过引入Fabric为新架构奠定了基础,实现了跨机器的联邦图查询,但客户必须自己管理分片。Infinigraph自动化了这一过程,同时保持完整的ACID合规性。
"由于遍历查询的存在,图分片是一个困难的问题,"Hasbe说,"我们通过在一个环境中维护全局索引实现快速路径查询,同时将实际数据分布在多台机器上实现水平扩展来解决这个问题。即使是分布式事务也保持一致和可靠。"
Neo4j还强调了图作为生成式AI中使用的向量数据库的价值。AI训练需要结构化和非结构化数据。该公司在2023年首次添加了向量支持,允许文档以向量嵌入的形式存储。Infinigraph实现了更大规模的存储。
"生成式AI使非结构化数据比以往更有价值,"Hasbe说,"我们看到客户从使用Elastic Store处理向量转向在Neo4j内管理一切。这大大简化了他们的技术栈。"
Infinigraph目前在Neo4j自管理企业版中提供早期访问,更广泛的可用性计划在10月推出。该公司表示,该功能很快将在其AuraDB云原生图平台中提供。
Infinigraph的定价将采用解耦模式,分离计算和存储以提供更大的灵活性。"我们正在将定价模式与现代分布式系统的运行方式保持一致,"Hasbe说,"这允许客户扩展工作负载而不会产生意外成本。"他表示,工作负载较小的客户可能会看到成本较当前支付的费用有所下降。
Q&A
Q1:Infinigraph是什么?它解决了什么问题?
A:Infinigraph是Neo4j公司发布的分布式图技术架构,它解决了事务系统与分析工作负载协调的问题。该架构允许用户在单一图数据库平台上同时运行操作和分析工作负载,处理规模超过100TB,无需分割图结构、复制基础设施或影响性能。
Q2:Infinigraph与之前的Neo4j版本有什么区别?
A:之前的Neo4j版本需要在单台物理计算机上运行,组织必须使用多个数据库来处理大量数据。Infinigraph通过分片技术可以在多台机器间对图数据进行分片,同时保持逻辑一致性,实现数据的自动分发和扩展,无需应用程序重写或人工干预。
Q3:Infinigraph在生成式AI方面有什么优势?
A:Infinigraph能够支持数十亿个向量,可以将数千万文档作为向量直接嵌入图中。这在生命科学等领域特别有用,比如处理数千万份科学文档进行药物发现。生成式AI使非结构化数据更有价值,客户可以在Neo4j内管理一切,大大简化技术栈。
好文章,需要你的鼓励
本文探讨如何使用生成式AI和大语言模型作为倾听者,帮助用户表达内心想法。许多主流AI如ChatGPT、Claude等被设计成用户的"最佳伙伴",或试图提供心理健康建议,但有时用户只想要一个尊重的倾听者。文章提供了有效的提示词技巧,指导AI保持中性、尊重的态度,专注于倾听和理解,而非给出建议或判断。同时提醒用户注意隐私保护和AI的局限性。
北京大学团队开发出WoW世界模型,这是首个真正理解物理规律的AI系统。通过200万机器人互动数据训练,WoW不仅能生成逼真视频,更能理解重力、碰撞等物理定律。其创新的SOPHIA框架让AI具备自我纠错能力,在物理理解测试中达到80.16%准确率。该技术将推动智能机器人、视频制作等领域发展,为通用人工智能奠定重要基础。
人工通用智能和超级人工智能的出现,可能会创造出一种全新的外星智能形态。传统AI基于人类智能模式构建,但AGI和ASI一旦存在,可能会选择创造完全不同于人类认知方式的新型智能。这种外星人工智能既可能带来突破性进展,如找到癌症治愈方法,也可能存在未知风险。目前尚不确定这种新智能形态是否会超越人类智能,以及我们是否应该追求这一可能改变人类命运的技术突破。
香港大学和蚂蚁集团联合推出PromptCoT 2.0,这是一种让AI自动生成高质量训练题目的创新方法。通过"概念-思路-题目"的三步策略,AI能像老师备课一样先构思解题思路再出题,大幅提升了题目质量和训练效果。实验显示该方法在数学竞赛和编程任务上都取得了显著提升,为解决AI训练数据稀缺问题提供了新思路。