Iceberg正在成为数据湖表格式的通用语言,StarTree是最新将其作为实时后端采用的供应商。
开源的Iceberg是一个面向大规模分析的开放表格式,它本身不像传统数据库那样存储或执行查询。它作为一个软件层运行在存储系统之上,如Parquet、ORC和Avro,以及云对象存储如AWS S3、Azure Blob和Google Cloud Store,处理元数据、分区和模式演进。Iceberg提供ACID事务、模式版本控制和时间旅行功能,数据查询和处理由单独的软件处理,如Apache Flink、Presto、Spark、Trino和其他分析引擎。
StarTree Cloud是基于Apache Pinot构建的完全托管的云原生平台,Apache Pinot是一个实时分布式OLAP(在线分析处理)数据存储。StarTree Cloud专为OLAP设计,能够对来自流式数据源(如Apache Kafka、Amazon Kinesis)和批处理数据源(如AWS S3、Snowflake)的大规模数据进行低延迟查询(毫秒级)和高吞吐量处理(每秒10,000+查询)。现在它既可以作为Iceberg之上的分析层,也可以作为服务层。
StarTree声称,Iceberg支持可以将其从被动存储格式转变为实时后端,能够为面向客户的应用程序和智能体提供支持,在高并发情况下为数千名同时用户提供一致的速度和可靠性服务。
StarTree联合创始人兼首席执行官Kishore Gopalakrishna表示:"我们看到面向客户,以及日益面向智能体的数据产品出现爆炸性增长,这些产品要求亚秒级响应和新鲜见解。与此同时,Iceberg正在成为大规模管理历史数据的行业标准。"
"随着这两个趋势的融合,StarTree通过作为Iceberg的实时服务层提供独特价值,使公司能够安全、可扩展地为数百万外部用户和智能体提供服务,而无需移动数据。"
最近采用Iceberg的厂商包括Snowflake、Confluent、AWS的S3、SingleStore和Databricks。
theCUBE Research首席分析师Paul Nashawaty表示:"Apache Iceberg正在迅速成为在开放数据湖仓中管理大规模分析数据的事实标准——根据theCUBE Research的数据,采用率同比激增超过60%。"
StarTree断言,大多数围绕Iceberg和Parquet构建的现有查询引擎难以满足面向外部、高并发分析应用程序所需的性能SLA,公司历史上一直避免直接从其湖仓提供数据服务。它声称通过结合Iceberg和Parquet开放表格式与Pinot的索引和高性能服务能力,StarTree直接在原生Iceberg表上提供实时查询加速。
与Presto、Trino和类似引擎不同,StarTree表示它专为低延迟、高并发访问而构建,直接与Iceberg集成,通过以下功能提升性能:
StarTree Cloud对Apache Iceberg和Parquet的原生支持
实时索引和聚合,包括对数值、文本、JSON和地理索引的支持
通过StarTree索引实现智能物化视图
用于低延迟、高并发查询的本地缓存和修剪
无需数据移动——直接从Iceberg提供服务
从Iceberg进行智能预取,最大限度减少无关数据扫描
Nashawaty认为:"StarTree以亚秒级延迟服务Iceberg数据且无需数据重复的能力是一个独特而及时的进步。它解决了在现代数据产品中访问历史数据的关键性能需求。"
StarTree Cloud对Apache Iceberg的支持今天已在私有预览版中提供。更多信息请访问www.startree.ai。
好文章,需要你的鼓励
自动驾驶开发商Nuro与豪华电动车制造商Lucid建立合作伙伴关系,获得Uber投资,共同打造机器人出租车新玩家。Nuro从纯配送市场转向授权自动驾驶技术,Lucid负责车辆制造并集成Nuro硬件设计,Uber拥有并运营车辆。该合作计划6年内生产至少2万辆汽车,主打豪华路线。随着行业竞争加剧,成本控制和差异化服务将成为关键因素。
ByteDance团队开发的GR-3是一个革命性的视觉-语言-动作模型,让机器人能够像人类一样理解指令并灵活操作。它通过多模态数据联合训练获得了强大的泛化能力,能处理未见过的物品和环境,还能从少量人类演示中快速学习。在三个挑战性任务上全面超越现有基准,展现了迈向通用机器人助手的巨大潜力。
Wayback 0.1正式发布,这是一个新的Wayland显示服务器的首个预览版本。该项目旨在为坚持使用X11的用户提供"足够的Wayland功能来让Xwayland正常工作"。虽然这是预览版本,但对于需求简单的用户来说已经可以日常使用。作为alpha质量软件,仍有许多功能未实现或正在开发中。Wayback能让用户在不需要完整X11服务器的情况下继续使用现有的X11环境,但目前缺少DPMS电源管理、多屏支持等功能。
上海人工智能实验室联合多家机构提出SeC视频分割技术,通过大型视觉语言模型构建物体概念表示,突破传统像素匹配局限。该技术在复杂场景变化中表现卓越,比SAM 2.1平均提升11.8分,并构建了专门的SeCVOS测试集验证效果,为视频编辑、自动驾驶等应用带来新突破。