谷歌融合SQL、Python和Spark推进Colab Enterprise发展

谷歌承诺为机器学习和数据分析提供单一笔记本环境，将SQL、Python和Apache Spark集成在一个平台中。

读者可能会注意到，数据科学和分析市场中的其他知名供应商也曾试图解决SQL/分析与机器学习工作台之间的分离问题。

谷歌数据云事业部总经理Yasmeen Ahmad表示，数据科学生产力的最大障碍是在数据库/数据仓库环境之间切换，使用SQL代码获取数据，然后导出并加载到Python笔记本中进行机器学习，同时还要配置单独的Spark集群。之后他们可能还需要切换到商业智能工具来可视化结果。

"我们的优先任务是通过创建架构师所需的单一智能环境来消除这种摩擦，让他们能够工程化、构建和部署——而不仅仅是运行预测模型。"

因此，谷歌正在预览其BigQuery数据仓库和机器学习平台Vertex AI中Colab Enterprise笔记本的多项增强功能，据称这些功能将把这些想法变为现实。

在Colab Enterprise笔记本中，谷歌正在预览原生SQL单元格，让用户能够使用SQL进行数据探索，并在BigQuery DataFrame中查看结果。这是一个基于BigQuery引擎的Python化DataFrame和机器学习API，用户可以在其中使用Python构建模型。这家科技巨头还在预览交互式可视化单元格，可在同一环境中生成可编辑的图表，打破SQL、Python和可视化之间的障碍。

同样在Colab Enterprise笔记本中，谷歌提供数据科学智能体，据称已增强该智能体，在其详细计划中纳入工具使用，包括使用BigQuery ML进行训练和推理、使用BigQuery DataFrames通过Python进行分析，或大规模Spark转换（目前处于预览阶段）。谷歌在2022年宣布BigQuery支持Apache Spark。

谷歌并非唯一试图弥合数据分析和机器学习之间差距的供应商。例如，云数据平台Snowflake在8月推出了Snowpark连接器。它建立在Apache Spark社区的Spark Connect基础上，采用客户端-服务器架构，允许任何客户端应用程序连接到远程Spark集群。

Snowflake表示，Snowpark连接器让Spark用户能够在直接绑定到其分析引擎的客户端中运行代码，而无需管理单独的Spark集群。通过这种方式，他们可以在Snowflake内运行所有现代Spark DataFrame、Spark SQL和用户定义函数代码。

Databricks在2020年开始在其包含Apache Spark的数据湖环境中引入SQL支持。

Q&A

Q1：谷歌Colab Enterprise的核心改进是什么？

A：谷歌Colab Enterprise的核心改进是提供单一笔记本环境，将SQL、Python和Apache Spark集成在一个平台中，包括原生SQL单元格、交互式可视化单元格和增强的数据科学智能体，让用户无需在不同工具间切换就能完成数据探索、机器学习和结果可视化。

Q2：为什么需要统一SQL、Python和Spark环境？

A：根据谷歌数据云事业部总经理的说法，数据科学生产力的最大障碍是需要在数据库环境中用SQL获取数据，然后导出到Python笔记本做机器学习，还要配置单独的Spark集群，最后可能还需要切换到商业智能工具可视化结果，这种频繁切换严重影响工作效率。

Q3：除了谷歌，还有哪些公司在解决类似问题？

A：Snowflake在8月推出了Snowpark连接器，让Spark用户能直接在其分析引擎的客户端中运行代码，无需管理单独的Spark集群。Databricks在2020年也开始在其包含Apache Spark的数据湖环境中引入SQL支持，都在努力打通数据分析和机器学习的壁垒。