twitter linkedin facebook telegram instagram email
Import-Export-Dynamodb-S3
May 6, 2018
2 minutes read

Hoje vou brevemente vou falar sobre o AWS Data PipeLine, e deixar dois exemplos em arquivos json para mostrar o processo de importação e exportação de tabelas para o S3…

AWS Data PipeLine

Assim como outros produtos da AWS ele é uma solução completa, que vai lhe dar todos acessórios funcionando e permitir assim você transitar dados de um lado para outro sem maiores dificuldades.

Os cenários de uso são diversos portanto a leitura de sua documentação é algo imprescindível, ou seja, se você é um daqueles caras preguiçosos que não gosta de ler e sair metendo bronca no deploy… é melhor reservar um tempinho no seu KanBan para isso

😬

Voltando.. as documentações que recomendo para começar, usando o DynamoDB como exemplo, sãos a abaixo:

Abaixo vou deixar dois exemplos de definição que você poderá carregar na criação do pipe, para exportar ou importar os dados do S3, veja:

Importando a definição

Editando na console

Por ser um exemplo, é interessante revisar todos os campos de objeto como parte do template o abaixo:

 0    {
 1      "subnetId": "<id da subnet>",
 2      "bootstrapAction": "s3://#{myDDBRegion}.elasticmapreduce/bootstrap-actions/configure-hadoop, --mapred-key-value,mapreduce.map.speculative=false",
 3      "name": "EmrClusterForLoad",
 4      "coreInstanceCount": "1",
 5      "coreInstanceType": "m3.xlarge",
 6      "amiVersion": "3.9.0",
 7      "id": "EmrClusterForLoad",
 8      "masterInstanceType": "m3.xlarge",
 9      "region": "#{myDDBRegion}",
10      "type": "EmrCluster",
11      "terminateAfter": "1 Day"
12    }

Onde o subnetId é o id da subnet que você separou para criar o cluster hadoop e o tipos de instância que você desejará usar dentro da sua VPC.

❗️Importante:❗️ Utilize uma subnet que possua acesso ou via nat gateway, nat instance ou que seja pública, segue link

Exemplos

👀 cya! 🎶🎶🎶



Back to posts


comments powered by Disqus