WEBアクセスログ分析用 スクレイピングツール【マーケティング・IT】 2021.09.17 お客様の課題お客様はWEBコンサルティング会社様で、複数のクライアントのWEBサイトを分析管理されています。各社のアクセスログに記載されるURL情報から、どのページを巡回して流入しているか手作業で照合されていました。 しかし調査するWEBサイトが急増し、限られたマンパワーではとても処理しきれない件数となっていました。 本サービスの取り組み 本サービスでは、対象となるWEBサイトの「ページタイトル」はもちろんのこと、「コンテンツ見出し」も高速スクレイピング可能なシステムを構築しました。 この高速化にあたっては、複数のスクレイピングを同時実行する、多重化スクレイピング技術を採用しています。 しかし、サイトによってはアクセスが過度に集中するとアタック行為とみなされ、アクセス制御されることがあります。 こうした迷惑行為とならないよう、特定のサイトには一定の時間を開けてスクレイピングするスケジュール機能を備えました。 ビジネスへの効果本サービスの導入で、マンパワーに依存していたURLとページタイトルの照合作業が大幅に短縮され、業務の効率化・省力化に成功されています。 また、コンテンツの見出しも取得できることで、さらに詳細なアクセスログ分析が可能となったことも評価をいただいています。 社名お客様との機密保持契約に基づき非公開（東京都） 構築期間初期構築 約1ヶ月 システム保守・運用も継続中 技術要素Java・多重化Webクローリング サービス分類 WEBスクレイピング（運用型） 業界分類 ITマーケティング < BACKNEXT >
