はじめに
こんにちは、ゼネットシステム事業部の方です。業務で AWS を用いたデータ分析基盤の構築に携わる中で、「もっとシンプルに、もっと低コストで BI 環境を構築できないか？」という課題に直面しました。
ビッグデータ時代では、データの分析・可視化はビジネス成功の鍵となります。
しかし、多くの BI ツールや環境では、複雑な設定や高いランニングコストが大きな障壁となりがちです。
そこで本記事では、Amazon S3 と AWS QuickSight だけを使用して、
-
サーバーレス構成
-
シンプルな導入手順
-
低コスト運用
を実現する BI 環境の構築方法を紹介します。
この構成では Athena を使用せず、より手軽にデータ分析を始められる点が特徴です。
構築方法の概要
Amazon S3はAWSのストレージサービスで、大容量データを安全に保存可能です。そしてQuickSightは、S3に保存されたデータを直接読み取ることでダッシュボードを作成し、データ分析を行うことができます。
構成手順
1. Amazon S3にデータを保存
まずは、データをAmazon S3に保存します。データはCSVやJSON形式で保存することが多いですが、データが整然としたフォーマットで保存されていることが重要です。
-
S3バケット作成：QuickSightが参照できるようにS3バケットを作成し、その中にCSVやJSONファイルをアップロードします。
-
データ整形：データを視覚化する前に、正しいフォーマットで整形しておくことが大切です。特にCSVファイルの場合、列の順序や区切り文字に注意を払いましょう。
2. QuickSightでデータセットを作成
次に、QuickSightでS3をデータソースとして設定します。
-
データソースの作成：QuickSightの管理コンソールから「S3」を選び、データソースとして指定します。
-
S3のパス設定：S3バケットのパスを指定し、データの形式（CSV、JSONなど）を選択します。S3のデータを直接QuickSightで分析するためには、データ形式に合わせたマニフェストファイルを作成する必要があります。
マニフェストファイルは、S3内のデータファイルの場所や形式（例：CSVやJSONなど）、データの区切り文字などの情報を記述したJSON形式のファイルです。このファイルを使って、QuickSightがS3内のデータを正しく認識して分析できるようになります。
{
"fileLocations": [
{
"URIs": ["s3://バケット名/フォルダ名/データ.csv"]
}
],
"globalUploadSettings": {
"format": "CSV",
"delimiter": ",",
"quoteChar": "\"",
"textqualifier": "\"",
"containsHeader": "true"
}
}
3. データ可視化
QuickSightでインポートしたデータを基にダッシュボードを作成します。
-
集計やフィルター：データを集計し、特定の項目でフィルターをかけることで、より視覚的で意味のある分析が可能になります。
-
ダッシュボード作成：データを視覚化し、簡単にインタラクティブなダッシュボードを作成します。
ポイント
-
Athena不要: クエリ処理を行うAthenaは不要です。QuickSightが直接S3からデータを読み込むため、シンプルでスピーディな構成となります。
-
低コスト: S3のストレージ費用とQuickSightの使用料だけで運用できるため、コスト効率が非常に高いです。
-
スピード: データの準備から可視化までが迅速に完了し、素早く意思決定を行うことができます。
活用編
この構成を最大限に活用するためのアイデアをご紹介します。
-
スモールスタートのプロジェクト: 大規模なデータウェアハウスや複雑なデータクエリ処理を行わず、S3にデータを格納してQuickSightでダッシュボードを作成するだけで、すぐにBI環境を立ち上げることができます。このシンプルなアプローチは、特にデータ分析を初めて導入する企業や少人数での運用に最適です。
-
定期レポート生成: QuickSightの「共有機能」を活用し、定期的に更新されるレポートをチームに自動で配信することができます。これにより、迅速な情報共有が実現できます。
-
データ更新の自動化: AWS Lambdaを使って、S3へのデータアップロードを自動化することで、データ更新をリアルタイムで反映できます。
おわりに
Amazon S3とQuickSightを利用したサーバーレスBI環境は、コスト削減と手軽な構築を両立させた効率的なソリューションです。Athenaを使用せず、シンプルなデータフローでBI環境を構築することで、スピーディで効率的なデータ分析が可能になります。この手法を活用して、データドリブンな意思決定を加速させましょう。
