All Posts in 2023.4


Azure Databricks 创建外部表

本文介绍如何在Azure data bricks中创建外部表。 本例子使用新建的Azure databricks。   新建如下资源: Azure databricks; Azure storage account 并开启分层命名空间; Azure Databricks 的访问连接器(这个是用来配置 databricks 链接 datalake的 managed identity),图标如下图所示;   在存储账户中,将 Azure databricks的访问连接器配置为存储账户的 blob数据所有者或者参与者;     接下来的步骤: 创建元存储(metastore)-> 创建 Unity Catalog->   1. 在accounts.azuredatabricks.net  中的data 页面创建 metastore; 2.为创建的metastore 分配 workspace; …

Azure Videos Data Databricks

Azure Databricks 读写 Azure storage account gen2

本文介绍Databricks 读写 Storage Account Gen 2 用到的链接: DBFS目录下的文件: https://learn.microsoft.com/zh-cn/azure/databricks/dbfs/root-locations 链接Data lake 的脚本: https://learn.microsoft.com/zh-cn/azure/databricks/getting-started/connect-to-azure-storage#--step-6-connect-to-azure-data-lake-storage-gen2-using-python 配置链接datalake gen2 service_credential = dbutils.secrets.get(scope="key-vault-scope",key="sp-key") …

Video Storage Account Data Databricks