本文介绍如何在Azure data bricks中创建外部表。

本例子使用新建的Azure databricks。

 

新建如下资源:

  1. Azure databricks;
  2. Azure storage account 并开启分层命名空间;
  3. Azure Databricks 的访问连接器(这个是用来配置 databricks 链接 datalake的 managed identity),图标如下图所示;

 

在存储账户中,将 Azure databricks的访问连接器配置为存储账户的 blob数据所有者或者参与者;

 

 

接下来的步骤:

创建元存储(metastore)-> 创建 Unity Catalog->

 

1. 在accounts.azuredatabricks.net  中的data 页面创建 metastore;

2.为创建的metastore 分配 workspace;

 

重要概念:

若要使用 Unity Catalog,必须创建元存储(metastore)。 元存储是 Unity Catalog 中数据的顶级容器。

每个元存储公开一个三级命名空间 (catalog.schema.table),可在该命名空间组织数据。

 

 

 

 

创建一个外部表,

%sql
CREATE TABLE `databricks-catalog`.default.people_101m
(
  id INT, name STRING, age INT
)
LOCATION 'abfss://external-location@datalakesean001.dfs.core.windows.net/tables/people';