はじめに
Terraformer というクラウドの既存状態から Terraform Code を生成してくれるツールがある (作成は Google 傘下の Waze 社 SRE チーム)
ここでは、インストール方法の確認と各クラウド (Google Cloud, AWS, Azure, Datadog) で動作確認をしたので、その内容をまとめる
また、Google Cloud は gcloud で Terraform Code 生成もプレビュー版で提供しているのでそちらも合わせて記載する
Terraformer インストール
ドキュメントのインストール箇所を参照して実施する
github から最新のバイナリを取得してリネーム・パスへ配置する
実施環境 OS
Rocky Linux release 9.1 (Blue Onyx)
インストール手順 (Shell)
export PROVIDER=all
curl -LO https://github.com/GoogleCloudPlatform/terraformer/releases/download/$(curl -s https://api.github.com/repos/GoogleCloudPlatform/terraformer/releases/latest | grep tag_name | cut -d '"' -f 4)/terraformer-${PROVIDER}-linux-amd64
chmod +x terraformer-${PROVIDER}-linux-amd64
sudo mv terraformer-${PROVIDER}-linux-amd64 /usr/local/bin/terraformer
インストール方法 (Ansible Tasks)
roles/terraformer/tasks.yaml
# https://github.com/GoogleCloudPlatform/terraformer#installation
## 0.8.22 = tag_name / latest check "curl -s https://api.github.com/repos/GoogleCloudPlatform/terraformer/releases/latest | grep tag_name"
- name: install terraformer 0.8.22
get_url:
url: https://github.com/GoogleCloudPlatform/terraformer/releases/download/0.8.22/terraformer-all-linux-amd64
dest: /usr/local/bin/terraformer
mode: "+x"
become: yes
※ 0.8.22 は記載時点でのバージョン
terraformer インストール確認
インストールしたらコマンドを打って入っていることを確認する
$ terraformer -v
version v0.8.22
(Google Cloud のみ) google-cloud-sdk-config-connector (gcloud terraform コード生成拡張) インストール
インストールスクリプトやリポジトリでのインストール方法が用意されている
ここでは、リポジトリを使用したインストールを記載する
インストール方法 (手動)
ドキュメント1, ドキュメント2に倣って設定する
サービスアカウントが自動で生成されない場合があるので、生成コマンドを追加している (ドキュメント)
sudo tee -a /etc/yum.repos.d/google-cloud-sdk.repo << EOM
[google-cloud-cli]
name=Google Cloud CLI
baseurl=https://packages.cloud.google.com/yum/repos/cloud-sdk-el8-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=0
gpgkey=https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOM
sudo dnf install google-cloud-cli
export PROJECT_ID=[]
export PROJECT_NUMBER=[]
gcloud components install config-connector
gcloud services enable cloudasset.googleapis.com --project $PROJECT_ID
gcloud beta services identity create --service=cloudasset.googleapis.com --project $PROJECT_ID
gcloud --project $PROJECT_ID projects add-iam-policy-binding $PROJECT_ID \
--member=serviceAccount:service-$PROJECT_NUMBER@gcp-sa-cloudasset.iam.gserviceaccount.com \
--role=roles/servicenetworking.serviceAgent
gcloud --project $PROJECT_ID projects add-iam-policy-binding $PROJECT_ID \
--member=serviceAccount:service-$PROJECT_NUMBER@gcp-sa-cloudasset.iam.gserviceaccount.com \
--role=roles/storage.objectAdmin
インストール方法 (Ansible, Terraform)
ローカル側のインストールを Ansible 、クラウド側の設定を Terraform で実施
ansible/role/gcloud/tasks/task.yml
name: install yum repository
yum_repository:
name: google-cloud-sdk
description: "Google Cloud SDK repo"
baseurl: https://packages.cloud.google.com/yum/repos/cloud-sdk-el8-x86_64
enabled: no
gpgcheck: yes
repo_gpgcheck: yes
gpgkey:
- https://packages.cloud.google.com/yum/doc/yum-key.gpg
- https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
become: true
- name: install google cloud sdk
dnf:
name: google-cloud-sdk
state: latest
enablerepo: "google-cloud-sdk"
become: true
- name: install google-cloud-sdk components
dnf:
name: "{{ packages }}"
state: latest
update_cache: yes
enablerepo: "google-cloud-sdk"
vars:
packages:
- google-cloud-sdk-config-connector
become: true
resource "google_project_service" "cloudasset_api_enable" {
project = google_project.main.id
disable_dependent_services = true
service = "cloudasset.googleapis.com"
}
resource "google_project_service_identity" "cloudasset_sa" {
provider = google-beta
project = google_project.main.name
service = "cloudasset.googleapis.com"
depends_on = [
google_project_service.cloudasset_api_enable,
]
}
resource "google_project_iam_binding" "servicenetworking_serviceagent" {
project = google_project.main.id
role = "roles/servicenetworking.serviceAgent"
members = [
"serviceAccount:service-${google_project.main.number}@gcp-sa-cloudasset.iam.gserviceaccount.com"
]
depends_on = [
google_project_service_identity.cloudasset_sa,
]
}
resource "google_project_iam_binding" "storage_objectadmin" {
project = google_project.main.id
role = "roles/storage.objectAdmin"
members = [
"serviceAccount:service-${google_project.main.number}@gcp-sa-cloudasset.iam.gserviceaccount.com"
]
depends_on = [
google_project_service_identity.cloudasset_sa,
]
}
Google Cloud での利用方法
Google Cloud は Terraformer と gcloud の 2つの方法で Terraform Code を生成できるので分けて記載する
Terraformer
Terraoform 実行環境を整えるために、version.tfでproviderとversionを指定する
mkdir google-terraformer
cd google-terraformer
vi version.tf
version.tf
terraform {
required_providers {
google = {
source = "hashicorp/google"
version = "4.52.0"
}
}
required_version = ">= 0.13"
}
実行に必要な権限を含むサービスアカウントキー、対象プロジェクトを環境変数で作成して、terraform initで初期化する
(GOOGLE_APPLICATION_CREDENTIALSの説明は省略(ドキュメント))
export GOOGLE_APPLICATION_CREDENTIALS=[YOUR TERRORM SERVICE ACCOUT KEY JSON]
export GCP_PROJECT=[YOUR GCP PROJECT ID]
terraform init
下記でterraformer importを試す
IAM 実行には参照者とサービスアカウントの参照権限が必要
terraformer import google -r project,iam --projects=$GCP_PROJECT
実施すると下記のような構成で Terraform Code が生成される
-z [region]のオプションを指定しないとデフォルトglobalとなるので、リージョンリソースを取得するには-z asia-northeast1のようなオプション追加が必要
|-- generated
| `-- google
| `-- [GCP_PROJECT]
| |-- iam
| | `-- global
| | |-- outputs.tf
| | |-- project_iam_member.tf
| | |-- provider.tf
| | `-- terraform.tfstate
| `-- project
| `-- global
| |-- outputs.tf
| |-- project.tf
| |-- provider.tf
| `-- terraform.tfstate
`-- version.tf
全てを対象としたい場合は、下記のように -r="*" で可能
(ただし Terraformer 対応サービス全てにアクセスするため時間と IAM 次第ではエラーが頻発するので*にする場合は roles/owner で実施したほうが良さそう)
terraformer import google -r="*" --projects=$GCP_PROJECT
リソース全てで実施すると下記のようなフォルダ構成で作成される
(リソースが無いとprovider.tfとterraform.tfstateの2ファイルが作成され provider と version が指定されるのみとなる)
$ ls generated/google/$GCP_PROJECT/
addresses dns healthChecks instances nodeGroups regionHealthChecks resourcePolicies targetHttpProxies vpnTunnels
autoscalers externalVpnGateways httpHealthChecks interconnectAttachments nodeTemplates regionInstanceGroupManagers routers targetHttpsProxies
backendBuckets firewall httpsHealthChecks kms packetMirrorings regionInstanceGroups routes targetInstances
backendServices forwardingRules iam logging project regionSslCertificates schedulerJobs targetPools
bigQuery gcs images memoryStore pubsub regionTargetHttpProxies securityPolicies targetSslProxies
cloudFunctions gke instanceGroupManagers monitoring regionAutoscalers regionTargetHttpsProxies sslCertificates targetTcpProxies
dataProc globalAddresses instanceGroups networkEndpointGroups regionBackendServices regionUrlMaps sslPolicies targetVpnGateways
disks globalForwardingRules instanceTemplates networks regionDisks reservations subnetworks urlMaps
$ ls generated/google/$GCP_PROJECT/cloudFunctions/global/
provider.tf terraform.tfstate
生成されたコードを実行するには対象のフォルダに移動して実行する
そのまま実行すると下記のようなエラーとなる
error
$ cd generated/google/$GCP_PROJECT/iam/global/
$ terraform init
Initializing the backend...
╷
│ Error: Invalid legacy provider address
│
│ This configuration or its associated state refers to the unqualified provider "google".
│
│ You must complete the Terraform 0.13 upgrade process before upgrading to later versions.
terraformer は terraform version 0.13 ベースのためドキュメントの通りリプレイスコマンドを実施する
replace
$ terraform state replace-provider registry.terraform.io/-/google hashicorp/google
Terraform will perform the following actions:
~ Updating provider:
- registry.terraform.io/-/google
+ registry.terraform.io/hashicorp/google
...省略...
再実施すると問題なく利用できる
$ terraform init
Initializing the backend...
Initializing provider plugins...
- Finding hashicorp/google versions matching "~> 4.52.0"...
- Installing hashicorp/google v4.52.0...
- Installed hashicorp/google v4.52.0 (signed by HashiCorp)
Terraform has created a lock file .terraform.lock.hcl to record the provider
selections it made above. Include this file in your version control repository
so that Terraform can guarantee to make the same selections by default when
you run "terraform init" in the future.
Terraform has been successfully initialized!
...省略...
$ terraform plan
...省略...
No changes. Your infrastructure matches the configuration.
Terraform has compared your real infrastructure against your configuration and found no differences, so no changes are needed.
下記、出力コード例 (project, ユーザドメイン名はマスク)
resource "google_project_iam_member" "tfer--roles-002F-owneruser-003A-suzuyu-0040-xxxxx-002E-xxxxx-002E-xxxxx" {
member = "user:suzuyu@xxxxx.xxxxx.xxx"
project = "suzuyu-xxx-xxx-xxx"
role = "roles/owner"
}
gcloud resource-config bulk-export --resource-format=terraform
ドキュメントに従って下記のように出力先フォルダを指定して、生成リソースを絞って実行が可能
mkdir tf-output
export GCP_PROJECT=[YOUR GCP PROJECT ID]
gcloud auth activate-service-account [YOUR TERRAFORM SERVICE ACCOUNT] --key-file=[YOUR TERRAFORM SERVICE ACCOUNT KEY FILE]
gcloud beta resource-config bulk-export \
--resource-types=Project,IAMServiceAccount \
--project=$GCP_PROJECT \
--resource-format=terraform \
--path=tf-output
出力例
$ gcloud beta resource-config bulk-export \
--resource-types=Project,IAMServiceAccount \
--project=$GCP_PROJECT \
--resource-format=terraform \
--path=tf-output
Exporting resource configurations to [tf-output]...done.
Exported resource configuration(s) to [tf-output].
$ cd tf-output; tree
|-- [MASK Folder Number]
| `-- Project
| `-- [MASK PROJECT ID].tf
`-- projects
`-- [MASK PROJECT ID]
`-- IAMServiceAccount
|-- [MASK PROJECT NUMBER]-compute.tf
`-- [MASK ACCOUNT ID].tf
上記出力より、生成されるコードは.tfコードのみで、 terraformer と違ってstate ファイルなどは生成されない
対応しているリソースタイプ・タイプ名は下記コマンドで確認可能
% gcloud beta resource-config list-resource-types
┌──────────────────────────────────────┬──────────────┬─────────┬──────┐
│ KRM KIND │ BULK EXPORT? │ EXPORT? │ IAM? │
├──────────────────────────────────────┼──────────────┼─────────┼──────┤
│ AccessContextManagerAccessLevel │ │ │ │
│ AccessContextManagerAccessPolicy │ │ │ x │
│ AccessContextManagerServicePerimeter │ │ │ │
│ ArtifactRegistryRepository │ x │ x │ x │
│ BigQueryDataset │ x │ x │ │
│ BigQueryJob │ │ x │ │
│ BigQueryTable │ x │ x │ x │
│ BigtableAppProfile │ x │ x │ │
│ BigtableGCPolicy │ │ │ │
│ BigtableInstance │ x │ x │ x │
│ BigtableTable │ x │ x │ x │
│ CloudBuildTrigger │ │ │ │
│ CloudIdentityGroup │ │ │ │
│ ComputeAddress │ x │ x │ │
│ ComputeAddress │ x │ x │ │
│ ComputeBackendBucket │ x │ x │ x │
│ ComputeBackendService │ x │ x │ │
│ ComputeBackendService │ x │ x │ │
│ ComputeDisk │ x │ x │ x │
│ ComputeDisk │ x │ x │ x │
│ ComputeExternalVPNGateway │ x │ x │ │
│ ComputeFirewall │ x │ x │ │
│ ComputeForwardingRule │ x │ x │ │
│ ComputeForwardingRule │ x │ x │ │
│ ComputeHTTPHealthCheck │ x │ x │ │
│ ComputeHTTPSHealthCheck │ x │ x │ │
│ ComputeHealthCheck │ x │ x │ │
│ ComputeHealthCheck │ x │ x │ │
│ ComputeImage │ x │ x │ x │
│ ComputeInstance │ x │ x │ x │
│ ComputeInstance │ x │ │ x │
│ ComputeInstanceGroup │ x │ x │ │
│ ComputeInstanceTemplate │ x │ x │ │
│ ComputeInterconnectAttachment │ x │ x │ │
│ ComputeNetwork │ x │ x │ │
│ ComputeNetworkEndpointGroup │ x │ x │ │
│ ComputeNetworkPeering │ │ │ │
│ ComputeNodeGroup │ x │ x │ │
│ ComputeNodeTemplate │ x │ x │ │
│ ComputeProjectMetadata │ │ │ │
│ ComputeRegionNetworkEndpointGroup │ │ │ │
│ ComputeReservation │ x │ x │ │
│ ComputeResourcePolicy │ x │ x │ │
│ ComputeRoute │ x │ x │ │
│ ComputeRouter │ x │ x │ │
│ ComputeRouterInterface │ │ │ │
│ ComputeRouterNAT │ │ │ │
│ ComputeRouterPeer │ │ │ │
│ ComputeSSLCertificate │ x │ x │ │
│ ComputeSSLCertificate │ x │ x │ │
│ ComputeSSLPolicy │ x │ x │ │
│ ComputeSecurityPolicy │ x │ x │ │
│ ComputeSharedVPCHostProject │ │ │ │
│ ComputeSharedVPCServiceProject │ │ │ │
│ ComputeSnapshot │ x │ x │ x │
│ ComputeSubnetwork │ x │ x │ x │
│ ComputeTargetGRPCProxy │ │ x │ │
│ ComputeTargetHTTPProxy │ x │ x │ │
│ ComputeTargetHTTPProxy │ x │ x │ │
│ ComputeTargetHTTPSProxy │ x │ x │ │
│ ComputeTargetHTTPSProxy │ x │ x │ │
│ ComputeTargetInstance │ x │ x │ │
│ ComputeTargetPool │ x │ x │ │
│ ComputeTargetSSLProxy │ │ x │ │
│ ComputeTargetTCPProxy │ x │ x │ │
│ ComputeTargetVPNGateway │ x │ x │ │
│ ComputeURLMap │ x │ x │ │
│ ComputeURLMap │ x │ x │ │
│ ComputeVPNGateway │ x │ x │ │
│ ComputeVPNTunnel │ x │ x │ │
│ ContainerCluster │ x │ x │ │
│ ContainerNodePool │ x │ │ │
│ DataflowFlexTemplateJob │ │ │ │
│ DataflowJob │ │ │ │
│ DNSManagedZone │ x │ x │ │
│ DNSPolicy │ x │ x │ │
│ DNSRecordSet │ │ │ │
│ FirestoreIndex │ │ │ │
│ IAMCustomRole │ x │ │ │
│ IAMServiceAccount │ x │ │ x │
│ IAMServiceAccountKey │ │ │ │
│ KMSCryptoKey │ x │ │ x │
│ KMSKeyRing │ x │ x │ x │
│ LoggingLogSink │ x │ │ │
│ MemcacheInstance │ x │ x │ │
│ MonitoringAlertPolicy │ x │ │ │
│ MonitoringNotificationChannel │ │ │ │
│ PubSubSchema │ │ x │ │
│ PubSubSubscription │ x │ x │ x │
│ PubSubTopic │ x │ x │ x │
│ RedisInstance │ x │ x │ │
│ Folder │ x │ x │ x │
│ Project │ x │ x │ x │
│ ResourceManagerLien │ │ │ │
│ ResourceManagerPolicy │ │ │ │
│ SecretManagerSecret │ x │ x │ x │
│ SecretManagerSecretVersion │ x │ │ │
│ ServiceDirectoryEndpoint │ │ x │ │
│ ServiceDirectoryNamespace │ x │ x │ x │
│ ServiceDirectoryService │ │ x │ x │
│ ServiceNetworkingConnection │ │ │ │
│ Service │ x │ x │ │
│ SourceRepoRepository │ x │ x │ x │
│ SpannerDatabase │ x │ x │ x │
│ SpannerInstance │ x │ x │ x │
│ SQLDatabase │ │ x │ │
│ SQLInstance │ x │ x │ │
│ SQLSSLCert │ │ │ │
│ SQLUser │ │ │ │
│ StorageBucket │ x │ │ x │
│ StorageBucketAccessControl │ │ │ │
│ StorageDefaultObjectAccessControl │ │ │ │
│ StorageNotification │ │ │ │
│ StorageTransferJob │ │ │ │
└──────────────────────────────────────┴──────────────┴─────────┴──────┘
対応している全てのリソースに対して実行するには--resource-typesを指定しなければ実施可能
ただし Cloud Storage バケットを作成するようで、組織ポリシーでリージョン us を許可してないと下記のようにエラーとなる
Exporting resource configurations to [tf-output]...done.
ERROR: (gcloud.beta.resource-config.bulk-export) Error executing export:: [error in 'config-connector' version '1.93.0': error creating temporary bucket and prefix: error creating bucket 'export-cftg36ie05dncbtar7q0': googleapi: Error 412: 'us' violates constraint 'constraints/gcp.resourceLocations', conditionNotMet
]
これは事前にバケットを作成して--storage-path で指定することで回避できた
(バケットではサービスアカウント"serviceAccount:service-${google_project.main.number}@gcp-sa-cloudasset.iam.gserviceaccount.com"にStorage レガシー オブジェクト / バケット オーナー権限を付与して実施した)
$ export STORAGE_NAME=[YOUR STORAGE NAME]
$ gcloud beta resource-config bulk-export \
--project=$GCP_PROJECT \
--resource-format=terraform \
--storage-path=gs://$STORAGE_NAME/ --path=tf-output
Exporting resource configurations to [tf-output]...done.
Exported resource configuration(s) to [tf-output].
AWS での利用方法
Terraoform 実行環境を整えるために、version.tfでproviderとversionを指定する
mkdir ~/aws-terraformer
cd ~/aws-terraformer
vi version.tf
version.tf
terraform {
required_providers {
google = {
source = "hashicorp/aws"
version = "4.56.0"
}
}
required_version = ">= 0.13"
}
実行に必要な権限を含むアクセス ID, アクセス KEY, を環境変数で作成して、terraform initで初期化する
(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY の説明は省略(ドキュメント))
export AWS_ACCESS_KEY_ID="anaccesskey"
export AWS_SECRET_ACCESS_KEY="asecretkey"
terraform init
terraformer import aws --resources=s3,vpc --regions=ap-northeast-1 --profile=""
tree
$ tree
.
|-- generated
| `-- aws
| |-- s3
| | |-- outputs.tf
| | |-- provider.tf
| | |-- s3_bucket.tf
| | `-- terraform.tfstate
| `-- vpc
| |-- outputs.tf
| |-- provider.tf
| |-- terraform.tfstate
| `-- vpc.tf
`-- version.tf
生成ファイルの動作確認を実施する
State ファイルの Migration を実施してから実施します (ドキュメント)
cd ~/aws-terraformer/generated/aws/s3/
terraform state replace-provider -auto-approve "registry.terraform.io/-/aws" "hashicorp/aws"
terraform init
terraform plan
実行するとNo changes. Your infrastructure matches the configuration.と出力される
Warning: Argument is deprecated と出たりするので、terraformer 出力コードが古いバージョンをサポートしてそう
すべてのリソースを対象に実行すると下記のようなリソースが生成される
$ terraformer import aws --resources="*" --regions=ap-northeast-1 --profile=""
...出力省略...
$ ls generated/aws/
acm cloud9 codecommit devicefarm ecs emr iot msk resourcegroups ses swf waf_regional
alb cloudformation codedeploy docdb efs eni kinesis nacl route53 sfn transit_gateway wafv2_regional
api_gateway cloudfront codepipeline dynamodb eip es kms nat route_table sg vpc workspaces
appsync cloudhsm cognito ebs eks firehose lambda opsworks s3 sns vpc_peering xray
auto_scaling cloudtrail config ec2_instance elastic_beanstalk glue logs organization secretsmanager sqs vpn_connection
batch cloudwatch customer_gateway ecr elasticache iam media_package qldb securityhub ssm vpn_gateway
budgets codebuild datapipeline ecrpublic elb igw media_store rds servicecatalog subnet waf
Azure での利用方法
Terraoform 実行環境を整えるために、version.tfでproviderとversionを指定する
mkdir ~/azure-terraformer
cd ~/azure-terraformer
vi version.tf
version.tf
terraform {
required_providers {
azurerm = {
source = "hashicorp/azurerm"
version = "3.45.0"
}
}
required_version = ">= 0.13"
}
実行に必要な権限を環境変数で作成して、terraform initで初期化する
(ドキュメント参照)
パラメータは環境による
export ARM_SUBSCRIPTION_ID=12345678-abcd-efgh-ijkl-123456789abc
export ARM_CLIENT_ID=87654321-4321-abcd-efgh-123456789abc
export ARM_CLIENT_SECRET=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
export ARM_TENANT_ID=abcdefgh-abcd-4321-efgh-123456789abc
terraform init
対象リソースグループについてリソースを指定してterraformer importを実施する
export RGNAME="[YOUR RG NAME]"
terraformer import azure -r resource_group
terraformer import azure -R $RGNAME -r virtual_network,resource_group
terraformer import azure -r resource_group --filter=resource_group=/subscriptions/$ARM_SUBSCRIPTION_ID/resourceGroups/$RGNAME
下記のような構成で生成される
tree
$ tree
.
|-- generated
| `-- azurerm
| |-- resource_group
| | |-- outputs.tf
| | |-- provider.tf
| | |-- resource_group.tf
| | `-- terraform.tfstate
| `-- virtual_network
| |-- outputs.tf
| |-- provider.tf
| |-- terraform.tfstate
| |-- variables.tf
| `-- virtual_network.tf
`-- version.tf
生成ファイルの動作確認を実施する
State ファイルの Migration をしてから実施する (ドキュメント)
cd ~/azure-terraformer/generated/azurerm/resource_group/
terraform state replace-provider -auto-approve "registry.terraform.io/-/azurerm" "hashicorp/azurerm"
terraform init
terraform plan
error
│ Error: Insufficient features blocks
│
│ on provider.tf line 1, in provider "azurerm":
│ 1: provider "azurerm" {
│
│ At least 1 "features" blocks are required.
╵
上記エラーとなり、features が無いので追加する
provider.tf
provider "azurerm" {
version = "~> 3.45.0"
+ features {}
}
terraform {
required_providers {
azurerm = {
version = "~> 3.45.0"
}
}
}
もう一度実施すると実行可能となる
$ terraform plan
No changes. Your infrastructure matches the configuration.
Terraform has compared your real infrastructure against your configuration and found no differences, so no changes are needed.
╷
│ Warning: Version constraints inside provider configuration blocks are deprecated
│
│ on provider.tf line 2, in provider "azurerm":
│ 2: version = "~> 3.45.0"
│
│ Terraform 0.13 and earlier allowed provider version constraints inside the provider configuration block, but that is now deprecated and will be removed in a future version of
│ Terraform. To silence this warning, move the provider version constraint into the required_providers block.
╵
Warningが出るが一応動作した
すべてのリソースを対象に出力した場合は、下記のようなリソースが出力される
all_resources
$ terraformer import azure -r "*"
...出力省略...
$ ls generated/azurerm/
analysis cosmosdb disk load_balancer network_watcher purview security_center_contact storage_container virtual_network
app_service data_factory dns management_lock private_dns resource_group security_center_subscription_pricing subnet
application_gateway database eventhub network_interface private_endpoint route_table ssh_public_key synapse
container databricks keyvault network_security_group public_ip scaleset storage_account virtual_machine
Datadog での利用方法
Terraoform 実行環境を整えるために、provider.tfでproviderとversionを指定する
mkdir ~/datadog-terraformer
cd ~/datadog-terraformer
vi provider.tf
provider.tf
# https://github.com/GoogleCloudPlatform/terraformer/blob/master/docs/datadog.md#2-set-up-a-template-terraform-workspace
terraform {
required_providers {
datadog = {
source = "DataDog/datadog"
# https://registry.terraform.io/providers/DataDog/datadog/latest
version = "3.21.0"
}
}
}
provider "datadog" {
# Configuration options
}
実行に必要な権限を環境変数で作成して、terraform initで初期化する
(ドキュメント参照)
terraform init
環境変数を設定して、terraformer ですべてのリソースをターゲットで実施する
export DATADOG_API_KEY=[Datadog API key] # More information on this at https://docs.datadoghq.com/account_management/api-app-keys/
export DATADOG_HOST=[Datadog API host] # https://api.datadoghq.eu which can be found at https://docs.datadoghq.com/getting_started/site/#access-the-datadog-site
export DATADOG_APP_KEY=[Datadog APP key] # More information on this at https://docs.datadoghq.com/account_management/api-app-keys/
terraformer import datadog --resources="*"
実施後は下記のような種別で生成される
$ ls generated/datadog/
dashboard downtime logs_archive logs_index logs_pipeline_order role synthetics_private_location
dashboard_json integration_gcp logs_archive_order logs_index_order metric_metadata service_level_objective synthetics_test
dashboard_list integration_slack_channel logs_custom_pipeline logs_integration_pipeline monitor synthetics_global_variable user
下記は生成コード例 (手動設定)
generated/datadog/monitor/monitor.tf
resource "datadog_monitor" "tfer--monitor_25024807" {
escalation_message = ""
evaluation_delay = "0"
include_tags = "true"
locked = "false"
message = "{{#is_alert}} BGP Neighbor down {{/is_alert}}\n{{#is_alert_recovery}} BGP Neighbor Up {{/is_alert_recovery}}\n@slack-HomeLab-datadog-monitoring"
monitor_thresholds {
critical = "1"
}
name = "GCP BGP Session State Change Project Name [ {{project_id}} ]"
new_group_delay = "0"
new_host_delay = "300"
no_data_timeframe = "0"
notify_audit = "false"
notify_no_data = "false"
priority = "0"
query = "min(last_5m):avg:gcp.router.bgp.session_up{project_id:suzuyu-project} < 1"
renotify_interval = "0"
renotify_occurrences = "0"
require_full_window = "false"
timeout_h = "0"
type = "metric alert"
}
動作確認を実施する
state ファイルの provider をリプレイスして、provider.tf の source を指定しないとエラーとなるので追加する
cd ~/datadog-terraformer/generated/datadog/monitor/
terraform state replace-provider -auto-approve "registry.terraform.io/-/datadog" "DataDog/datadog"
vi provider.tf
provider.tf
terraform {
required_providers {
datadog = {
+ source = "Datadog/datadog"
version = "~> 3.21.0"
}
}
}
terraform plan で動作することを確認する
export DD_API_KEY=$DATADOG_API_KEY
export DD_HOST=$DATADOG_HOST
export DD_APP_KEY=$DATADOG_APP_KEY
terraform init
terraform plan
まとめ
Terraformer をインストールして各クラウドでコード生成・動作する修正まで実施した
Terraformer 生成コードが古めのバージョンを前提で生成されるので、生成後に修正などが必要そうだが、
参考に利用したり、IaC 化されてないクラウドの対応に有用そうなことがわかった
gcloud での生成は、Terraformer と違って、APIの有効化・サービスアカウント生成・権限付与・テンポラリバケットへのリージョン対応などが必要で環境により使い勝手が変わりそうだが、プレビュー版なので今後の対応をウォッチしてくのが良さそう
参考