zenet_logo

-株式会社ゼネット技術ブログ-

AWS

AWS Glue Job Bookmarkで重複処理を防ぐ!ETLジョブの効率化ガイド

AWS Glue を使って ETL 処理を自動化していると、「同じデータを何度も処理してしまう」という問題に直面することがあります。そんなときに役立つのが Glue Job Bookmark(ジョブブックマーク) 機能です。 この記事では、Job Bookmark の仕組み・実装方法・…

AWSクラウドエンジニアになる前に知っておきたいこと

この記事では、インフラ未経験からAWSクラウドエンジニアとして活躍できるようになるまでのステップを、実際の経験を交えて紹介します。 対象読者: AWSやクラウドエンジニアに興味がある方 IT未経験からエンジニアを目指す方 資格を活用してキャリアアップ…

AWSコスト異常検知から原因特定までの完全ガイド

はじめに 請求額の異常を確認 1. 請求とコスト管理で全体を把握する 2. 対象サービスを特定する CloudTrailで操作履歴を確認 1.まずは「どんな操作が行われたか」を探る 2. イベント履歴を検索する 3. 原因特定 社内での対応 まとめ 参照資料 はじめに ゼネ…

AWS Glueでノーコード/ローコードETLを実践!S3データを自動変換・集計する方法

はじめに ETLジョブの概要 実装手順(GUIでの操作) Glue Studioで新規ジョブ作成 S3データの読み込みノード追加 Change Schema(旧Apply Mapping)で型変換と列マッピング SQLノードで月判別列を追加 Change Schema(列名変更ノード) S3出力ノードの設定 …

Lambda×S3でファイルを自動整理!イベント通知で日付フォルダに振り分ける方法

はじめに 課題 実装アーキテクチャ 実装手順 1. S3バケット作成 2. Lambda関数作成 3. トリガー設定(S3イベント通知) 4. Lambda実行ロール権限 5. 動作確認 注意点 まとめ 参照資料 はじめに ゼネットシステム事業部の方です。 AWSを利用していると、S3に…

CloudWatchで作るAWS請求額カスタムダッシュボード|サービス別・期間別に簡単可視化

はじめに 課題 CloudWatchのメリット 実装手順 1. CloudWatchでのメトリクス確認 2. ダッシュボード作成 3. 閲覧ユーザー権限設定 注意点 まとめ 参照資料 はじめに ゼネットシステム事業部の方です。 AWSを利用していると、請求額の確認は重要な業務の一つ…

Step FunctionsでCloudFormation StackSetを自動デプロイしてみた⚙️

はじめに 課題 全体構成 実装例 注意点⚠️ まとめ 参照資料 はじめに システム事業部の方です。今回は AWS Step Functions を使って CloudFormation StackSetを自動デプロイ する仕組みを構築したので、その内容を紹介します。 AWS環境を複数アカウントで管理…

AWS QuickSightの埋め込み3種類を徹底比較!匿名ユーザー・登録済ユーザー・ワンクリックの違いとは

はじめに QuickSight埋め込み3方式をざっくり紹介! ワンクリック埋め込み(One-click Embedding) 登録済みユーザー埋め込み(Registered User Embedding) 匿名ユーザー埋め込み(Anonymous Embedding) まとめ おわりに 参考資料 はじめに こんにちは、ゼ…

Qで計算フィールド自動生成!前月/前期フィルタの作り方📊

はじめに 従来のやり方 Amazon Q in QuickSight 東京リージョンでリリース!(2025年7月) 実際に使ってみた まとめ 制限事項や注意点 Demo Central で無料体験してみよう 参照資料 はじめに システム事業部の方です。業務上、データ分析基盤の構築に携わっ…

SCPでS3パブリック禁止でもOK!CloudFrontで実現するセキュア配信🛡️

はじめに 課題:S3を直接公開できない 解決策:CloudFront + S3バケットポリシー 結果 まとめ 補足情報OAI と OAC の違い 参照資料 はじめに ゼネットシステム事業部の方です。 AWSでWebサイトやファイルを配信する際、Amazon S3 をオリジンに使う構成はよく…

【AWS入門】API GatewayとLambdaでHTMLページを動的に生成してみた

はじめに 従来の構成:S3の静的サイト API GatewayとLambdaの仕組み Lambdaの設定とコード CloudFrontの設定 ディストリビューション作成 オリジン作成 API Gatewayの設定(CORSとMapping Template込み) 1. リソースとメソッドの作成 2. CORS設定 3. マッピ…

AWS QuickSight × S3で実現する低コストなデータ分析環境

はじめに 構築方法の概要 構成手順 1. Amazon S3にデータを保存 2. QuickSightでデータセットを作成 3. データ可視化 ポイント 活用編 おわりに 参考資料 はじめに こんにちは、ゼネットシステム事業部の方です。業務で AWS を用いたデータ分析基盤の構築に…

AWS Step Functionsで使えるデータ変換 ー JSONPathとJSONataの比較

はじめに JSONPathとは JSONataとは JSONPathとJSONataの比較 補足:練習環境 try.jsonata.org サンプル まとめ 参考資料 はじめに こんにちは、ゼネットシステム事業部の方です。業務で AWS Step Functions を使ったワークフロー自動化に携わる機会があった…

Redisをクラスタ有効モードでマルチキー操作したらエラーになった時の対処法

こんにちは、システム事業部の田丸です。昨今、利活用が目立ってきているNoSQLデータベースですが、携わるプロジェクトでRedis使用時に発生した事象と留意点について、ごくざっくりと紹介したいと思います。少しでも皆さんのお役に立てれば。 【発生した例外…

Lambdaの再起呼び出しで高額請求

システム事業部の阿部です。 タイトルにもありますが今回はちょっと恐ろしかった話です。 Lambdaの金額が800$を超えた 原因はLambda関数の再起呼び出し これでも間一髪 トリガーイベントは適当に設定しない AWSを使う際に気を付けたいこと Lambdaの金額が…

よく使うCloudWatchの検索パターン

AWS

システム事業部の阿部です。 最近、色々な案件でAWSのサービスを使うことも増えてきました。 本番障害や、テスト環境での不具合発生時にはログを検出して原因究明を行う作業の中で、CloudWatchを用いたログ抽出を行う機会も増えてきました。(私だけではない…

【AWS】MySQLからRDSにデータベースを移行した後に起こったシステムエラーの解決プロセス

初めまして、ゼネットの齊藤です。 新人として現在AWSハンズオン研修を受けており、 『Amazon Web Service クラウドデザインパターン 実装ガイド』 に沿ってAWSでシステムを構築するといった内容を行っています。 教本通りにEC-CUBEを構築しMySQLからRDSにデ…

AWSのEC2上でEC-CUBE4.1系を構築してみた

ゼネットの元吉です。 私は現在ゼネットでハンズオン研修を受講しており、 EC-CUBEの4系でE-コマースサイトの構築をAmazonLinux2上に行ったのでその方法を書いていきます。 目次 目次 環境 事前設定とEC-CUBEのインストール mysql5.7のインストール Apacheの…

AWS資格取得6冠のための勉強方法

はじめまして 株式会社ゼネットの坂口といいます。 2021年1月にAWS資格取得6冠(AWS認定-機械学習-などの専門知識資格は除く)を達成しました。その際使用した教材や勉強方法を共有したいと思います。 AWS_CERRTIFICATIONS AWS プラクティショナー(基礎) A…

AWS Solution Architect professionalに一発合格しました!!!!!!

始めまして3-4Gの増田と申します。 いきなりですが、先日、弊社で初めてAWS professional資格に合格できましたので、勉強方法や入手できる教材のメリット・デメリットなどをまとめて共有できればと思います。 前提 2年目で、情報処理はITパスポートを持って…