图数据库厂商Neo4j公司今日发布了Infinigraph,称其为分布式图技术的重大进步。
该公司表示,这一架构允许用户在单一图数据库平台上同时运行操作和分析工作负载,处理规模超过100TB,且无需分割图结构、复制基础设施或影响性能。
经过两年多的开发,Infinigraph解决了事务系统与分析工作负载协调的问题。Neo4j的早期版本需要在单台物理计算机上运行,这意味着组织必须使用提取/传输/加载管道、同步或多个数据库来处理大量数据。
Infinigraph通过使用分片技术解决了这一限制。分片是一种将大型数据集拆分为更小、更易管理片段的数据库技术,可支持数十亿关系和数千个并发查询跨多个处理器执行,同时保持事务场景所需的原子性、一致性、隔离性和持久性(ACID)特性。
该公司可以在多台机器间对图数据进行分片,同时保持其逻辑一致性,实现数据的自动分发和扩展,无需应用程序重写或人工干预。
Neo4j表示,新架构允许客户将数千万文档作为向量直接嵌入图中。这使得欺诈检测、产品知识图谱、长期合规监控和语义搜索等用例能够在更大、更丰富的数据量上进行。
Neo4j技术总裁Sudhir Hasbe表示:"我们现在能够在Neo4j数据库中支持数十亿个向量。这在生命科学领域特别有用,公司需要处理数千万份科学文档进行药物发现。过去,这些文档是孤立的。现在,它们可以直接嵌入到图中。"
四年前,Neo4j通过引入Fabric为新架构奠定了基础,实现了跨机器的联邦图查询,但客户必须自己管理分片。Infinigraph自动化了这一过程,同时保持完整的ACID合规性。
"由于遍历查询的存在,图分片是一个困难的问题,"Hasbe说,"我们通过在一个环境中维护全局索引实现快速路径查询,同时将实际数据分布在多台机器上实现水平扩展来解决这个问题。即使是分布式事务也保持一致和可靠。"
Neo4j还强调了图作为生成式AI中使用的向量数据库的价值。AI训练需要结构化和非结构化数据。该公司在2023年首次添加了向量支持,允许文档以向量嵌入的形式存储。Infinigraph实现了更大规模的存储。
"生成式AI使非结构化数据比以往更有价值,"Hasbe说,"我们看到客户从使用Elastic Store处理向量转向在Neo4j内管理一切。这大大简化了他们的技术栈。"
Infinigraph目前在Neo4j自管理企业版中提供早期访问,更广泛的可用性计划在10月推出。该公司表示,该功能很快将在其AuraDB云原生图平台中提供。
Infinigraph的定价将采用解耦模式,分离计算和存储以提供更大的灵活性。"我们正在将定价模式与现代分布式系统的运行方式保持一致,"Hasbe说,"这允许客户扩展工作负载而不会产生意外成本。"他表示,工作负载较小的客户可能会看到成本较当前支付的费用有所下降。
Q&A
Q1:Infinigraph是什么?它解决了什么问题?
A:Infinigraph是Neo4j公司发布的分布式图技术架构,它解决了事务系统与分析工作负载协调的问题。该架构允许用户在单一图数据库平台上同时运行操作和分析工作负载,处理规模超过100TB,无需分割图结构、复制基础设施或影响性能。
Q2:Infinigraph与之前的Neo4j版本有什么区别?
A:之前的Neo4j版本需要在单台物理计算机上运行,组织必须使用多个数据库来处理大量数据。Infinigraph通过分片技术可以在多台机器间对图数据进行分片,同时保持逻辑一致性,实现数据的自动分发和扩展,无需应用程序重写或人工干预。
Q3:Infinigraph在生成式AI方面有什么优势?
A:Infinigraph能够支持数十亿个向量,可以将数千万文档作为向量直接嵌入图中。这在生命科学等领域特别有用,比如处理数千万份科学文档进行药物发现。生成式AI使非结构化数据更有价值,客户可以在Neo4j内管理一切,大大简化技术栈。
好文章,需要你的鼓励
FORTIS是专门测量AI代理"越权行为"的基准测试,研究发现十款顶尖模型普遍选择远超任务需要的高权限技能,端到端成功率最高仅14.3%。
谷歌在Android Show发布会上宣布,将Gemini更深度整合至Android系统,推出名为"Gemini Intelligence"的升级功能。该功能可跨应用处理日常任务,包括自动填写表单、安排日程、生成购物清单及自定义小组件等,无需用户频繁切换应用。此外,Gboard新增"Rambler"功能,可自动过滤语音输入中的口误和填充词。Gemini Intelligence将率先登陆三星Galaxy和谷歌Pixel手机,并支持Android Auto、Wear OS及智能眼镜。
荷兰Nebius团队提出SlimSpec,通过低秩分解压缩草稿模型LM-Head的内部表示而非裁剪词汇,在保留完整词汇表的同时将LM-Head计算时间压缩至原来的五分之一,端到端推理速度超越现有方法最高达9%。