AWS Glue DataBrew 数据准备服务

接入教程

1. 登录 AWS 控制台，导航至 AWS Glue DataBrew 服务。
2. 创建或选择数据集，连接到您的数据源（如 S3 或数据库）。
3. 使用可视化界面查看数据，应用预置的数据转换配方。
4. 执行数据清洗和转换操作，如过滤、格式化或合并数据。
5. 预览结果，确认无误后保存或导出处理后的数据。
6. 定期使用 DataBrew 自动化数据准备任务，提高效率。

使用Python列出DataBrew数据集

python

import boto3

# 初始化DataBrew客户端
databrew = boto3.client('databrew',
    region_name='us-east-1',
    aws_access_key_id='YOUR_API_KEY',
    aws_secret_access_key='YOUR_SECRET_KEY')

# 列出数据集
try:
    response = databrew.list_datasets()
    for dataset in response['Datasets']:
        print(f"Dataset: {dataset['Name']}, Created: {dataset['CreateDate']}")
except Exception as e:
    print(f"Error listing datasets: {e}")

使用PHP创建DataBrew作业

php

<?php
require 'vendor/autoload.php';

use Aws\GlueDataBrew\GlueDataBrewClient;
use Aws\Exception\AwsException;

// 配置客户端
$client = new GlueDataBrewClient([
    'region' => 'us-east-1',
    'version' => 'latest',
    'credentials' => [
        'key' => 'YOUR_API_KEY',
        'secret' => 'YOUR_SECRET_KEY'
    ]
]);

// 创建作业参数
$params = [
    'Name' => 'SampleJob',
    'RoleArn' => 'arn:aws:iam::123456789012:role/DataBrewRole',
    'DatasetName' => 'SampleDataset'
];

try {
    $result = $client->createRecipeJob($params);
    echo "Job created: " . $result['JobId'] . "\n";
} catch (AwsException $e) {
    echo "Error: " . $e->getMessage() . "\n";
}
?>

使用JavaScript获取DataBrew项目详情

javascript

const AWS = require('aws-sdk');

// 配置AWS凭证
AWS.config.update({
    region: 'us-east-1',
    accessKeyId: 'YOUR_API_KEY',
    secretAccessKey: 'YOUR_SECRET_KEY'
});

const databrew = new AWS.GlueDataBrew();

// 获取项目详情
const params = {
    Name: 'SampleProject'
};

databrew.describeProject(params, (err, data) => {
    if (err) {
        console.log('Error:', err);
    } else {
        console.log('Project Details:');
        console.log('Name:', data.Name);
        console.log('Recipe Count:', data.RecipeCount);
        console.log('Last Modified:', data.LastModifiedDate);
    }
});

常见问题

AWS Glue DataBrew的主要功能是什么？

AWS Glue DataBrew是一款可视化数据准备服务，允许用户通过直观界面清洗、转换和规范化数据，无需编写代码。它提供自动模式发现、数据质量检查和一键式转换功能。

使用DataBrew API需要哪些权限？

使用DataBrew API需要AWS IAM权限，包括databrew:*相关操作权限，以及访问S3数据源和CloudWatch日志的权限。建议使用最小权限原则配置IAM角色。

DataBrew支持哪些数据格式和来源？

DataBrew支持CSV、JSON、Parquet、ORC等常见格式，数据源包括Amazon S3、Redshift、RDS等AWS服务，以及通过JDBC连接的外部数据库。