开源向量数据库和搜索初创公司Qdrant开发了一款轻量级向量数据库,专为在机器人、自助终端、移动设备和其他嵌入式系统上本地运行而设计。
Qdrant Edge使开发者能够在边缘设备上本地运行混合和多模态搜索,无需连接服务器进程或后台线程。边缘设备通常资源受限,具有高延迟、有限计算能力和最小网络访问。Qdrant在其Edge产品中实现了云原生向量数据库的核心功能。向量数据库被生成式AI模型用于响应基于自然语言的用户请求。
Qdrant首席执行官兼联合创始人André Zayarni表示:"开发者需要在做出许多决策的地方运行基础设施——在设备本身上。Qdrant Edge是专为嵌入式AI设计的全新向量搜索引擎。它将本地搜索、确定性性能和多模态支持融入到最小的运行时占用空间中。"
Qdrant表示,Edge产品提供了对生命周期、内存使用和进程内执行的完全控制,无需后台服务。它将支持进程内执行、高级过滤以及与实时智能体工作负载的兼容性。预想的应用包括具有多模态传感器输入的机器人导航、智能零售自助终端和销售点系统上的本地检索,以及在移动或嵌入式硬件上运行的隐私优先助手。
Qdrant最初将其向量存储在底层的RocksDB键值存储中,但由于固有的压缩导致随机延迟峰值,并发现由于选项过多而难以调优。因此,它用Rust开发了自己的Gridstore键值存储。这具有数据层来在固定大小块中存储值以进行快速查找,掩码层来跟踪已使用和未使用的块而无需压缩,以及间隙层来管理空间分配。
Qdrant表示,它已经看到了机器人和移动AI开发者的早期关注,这些开发者希望进行本地部署并获得比连接到中央或云向量数据库更好的性能,以及需要边缘隐私优先AI的公司。
我们了解到,从自助终端开发者的角度来看,拥有能够响应客户自然语言查询的系统可能是有利的。
Qdrant的Edge产品现在通过私有测试版提供。构建机器人、设备助手或嵌入式推理管道的团队可以在此申请。
好文章,需要你的鼓励
CPU架构讨论常聚焦于不同指令集的竞争,但实际上在单一系统中使用多种CPU架构已成常态。x86、Arm和RISC-V各有优劣,AI技术的兴起更推动了对性能功耗比的极致需求。当前x86仍主导PC和服务器市场,Arm凭借庞大生态系统在移动和嵌入式领域领先,RISC-V作为开源架构展现巨大潜力。未来芯片设计将更多采用异构计算,多种架构协同工作成为趋势。
KAIST AI团队通过深入分析视频生成AI的内部机制,发现了负责交互理解的关键层,并开发出MATRIX框架来专门优化这些层。该技术通过语义定位对齐和语义传播对齐两个组件,显著提升了AI对"谁对谁做了什么"的理解能力,在交互准确性上提升约30%,为AI视频生成的实用化应用奠定了重要基础。
Vast Data与云计算公司CoreWeave签署了价值11.7亿美元的多年期软件许可协议,这标志着AI基础设施存储市场的重要转折点。该协议涵盖Vast Data的通用存储层及高级数据平台服务,将帮助CoreWeave提供更全面的AI服务。业内专家认为,随着AI集群规模不断扩大,存储系统在AI基础设施中的占比可能从目前的1.9%提升至3-5%,未来五年全球AI存储市场规模将达到900亿至2000亿美元。
乔治亚理工学院和微软研究团队提出了NorMuon优化器,通过结合Muon的正交化技术与神经元级自适应学习率,在1.1B参数模型上实现了21.74%的训练效率提升。该方法同时保持了Muon的内存优势,相比Adam节省约50%内存使用量,并开发了高效的FSDP2分布式实现,为大规模AI模型训练提供了实用的优化方案。