跳到主要内容

CREATE-STORAGE-VAULT

CREATE-STORAGE-VAULT

Description

该命令用于创建存储库。本文档的主题描述了创建 Doris 自管理存储库的语法。

CREATE STORAGE VAULT [IF NOT EXISTS] vault
[properties]

properties

参数是否必需描述
type必需只允许两种类型的存储库:S3 和 HDFS。
S3 Vault
参数是否必需描述
s3.endpoint必需用于对象存储的端点。
注意,请不要提供带有 http:// 或 https:// 开头的链接。对于 Azure Blob 存储,链接应该像 ${ak}.blob.core.windows.net/。
s3.region必需您的存储桶的区域。(如果您使用 GCP 或 AZURE,则不需要)。
s3.root.path必需存储数据的路径。
s3.bucket必需您的对象存储账户的存储桶。(如果您使用 Azure,则为 StorageAccount)。
s3.access_key必需您的对象存储账户的访问密钥。(如果您使用 Azure,则为 AccountName)。
s3.secret_key必需您的对象存储账户的秘密密钥。(如果您使用 Azure,则为 AccountKey)。
provider必需提供对象存储服务的云供应商。支持的值有COSOSSS3OBSBOSAZUREGCP
use_path_style可选使用 path-style URL 或者 virtual-hosted-style URL, 默认值 false(virtual-hosted-style)
HDFS vault
参数是否必需描述
fs.defaultFS必需Hadoop 配置属性,指定要使用的默认文件系统。
path_prefix可选存储数据的路径前缀。如果没有指定则会使用 user 账户下的默认路径。
hadoop.username可选Hadoop 配置属性,指定访问文件系统的用户。如果没有指定则会使用启动 hadoop 进程的 user。
hadoop.security.authentication可选用于 hadoop 的认证方式。如果希望使用 kerberos 则可以填写kerberos
hadoop.kerberos.principal可选您的 kerberos 主体的路径。
hadoop.kerberos.keytab可选您的 kerberos keytab 的路径。

示例

  1. 创建 HDFS storage vault。

    CREATE STORAGE VAULT IF NOT EXISTS hdfs_vault
    PROPERTIES (
    "type"="hdfs",
    "fs.defaultFS"="hdfs://127.0.0.1:8020"
    );
  2. 创建微软 azure S3 storage vault。

    CREATE STORAGE VAULT IF NOT EXISTS s3_vault
    PROPERTIES (
    "type"="S3",
    "s3.endpoint"="ak.blob.core.windows.net/",
    "s3.access_key" = "ak",
    "s3.secret_key" = "sk",
    "s3.root.path" = "ssb_sf1_p2_s3",
    "s3.bucket" = "doris-build-1308700295",
    "provider" = "AZURE"
    );
  3. 创建阿里云 OSS S3 storage vault。

    CREATE STORAGE VAULT IF NOT EXISTS s3_vault
    PROPERTIES (
    "type"="S3",
    "s3.endpoint"="oss.aliyuncs.com",
    "s3.access_key" = "ak",
    "s3.secret_key" = "sk",
    "s3.region" = "cn-hangzhou",
    "s3.root.path" = "ssb_sf1_p2_s3",
    "s3.bucket" = "doris-build-1308700295",
    "provider" = "OSS"
    );
  4. 创建腾讯云 COS S3 storage vault。

    CREATE STORAGE VAULT IF NOT EXISTS s3_vault
    PROPERTIES (
    "type"="S3",
    "s3.endpoint"="cos.ap-guangzhou.myqcloud.com",
    "s3.access_key" = "ak",
    "s3.secret_key" = "sk",
    "s3.region" = "ap-guangzhou",
    "s3.root.path" = "ssb_sf1_p2_s3",
    "s3.bucket" = "doris-build-1308700295",
    "provider" = "COS"
    );
  5. 创建华为云 OBS S3 storage vault。

    CREATE STORAGE VAULT IF NOT EXISTS s3_vault
    PROPERTIES (
    "type"="S3",
    "s3.endpoint"="obs.cn-north-4.myhuaweicloud.com",
    "s3.access_key" = "ak",
    "s3.secret_key" = "sk",
    "s3.region" = "cn-north-4",
    "s3.root.path" = "ssb_sf1_p2_s3",
    "s3.bucket" = "doris-build-1308700295",
    "provider" = "OBS"
    );
  6. 创建亚马逊云 S3 storage vault。

    CREATE STORAGE VAULT IF NOT EXISTS s3_vault
    PROPERTIES (
    "type"="S3",
    "s3.endpoint"="s3.us-east-1.amazonaws.com",
    "s3.access_key" = "ak",
    "s3.secret_key" = "sk",
    "s3.region" = "us-east-1",
    "s3.root.path" = "ssb_sf1_p2_s3",
    "s3.bucket" = "doris-build-1308700295",
    "provider" = "S3"
    );
  7. 创建 MinIO S3 storage vault。

     CREATE STORAGE VAULT IF NOT EXISTS s3_vault
    PROPERTIES (
    "type"="S3",
    "s3.endpoint"="127.0.0.1:9000",
    "s3.access_key" = "ak",
    "s3.secret_key" = "sk",
    "s3.region" = "us-east-1",
    "s3.root.path" = "ssb_sf1_p2_s3",
    "s3.bucket" = "doris-build-1308700295",
    "provider" = "S3"
    );

关键词

CREATE, STORAGE VAULT