TEL 03-4405-9595 | 営業時間 10:00 ~ 18:00

WEBクローラーサービスお申込み

機能

データ収集

必要な情報を収集代行

ご希望のWEBサイトから特定の時間、頻度における最新のデータを収集します。

マルチデバイスサイト対応

クローラオプティマイザーの対象サイトはPC向けサイトに限りません。ユーザーエージェントを自由に切り替えることで端末種類毎に異なるサイト構造やコンテンツ内容にも対応できます。スマートフォン専用コンテンツ等も収集可能です。

Service_crawler-_01

データ整形・抽出

文字列から価値のあるデータのみ抽出

Webサイトを収集してきてもそのままではただの文字列です。クローラオプティマイザーでは事前にルールを定義しておくことで正規表現やHTMLスクレイピングといった技術を駆使し必要な情報だけを抽出します。また抽出後に他API等と連携しさらにデータの加工を行うことも可能です。

範囲表現から最下値の抽出

(例:  100円 ~ 1000円  100円)

特定文字列をコード化

(例: 北海道→ 01、東京→13 )

JANコードから各種通販サイトを検索し参考価格を抽出

(例: 49xxxxxxxxxxxxx  1200円)

海外サイトの参考価格を当日の為替レートで円換算

(例:$80  880円)

画像URLから画像ダウンロード、リサイズ

 

 

指定データ形式での出力

クローリングで取得を行ったデータはご指定方法で授受を行うことが可能です。どのようなデータ形式、サイクルでデータが必要かお申し付け下さい。

RSS配信

ご提供URLをリーダーに設定することにより、収集した情報をRSSリーダーで読むことが可能になります。最新価格情報等の閲覧を主としたデータに最適です。

CSVファイル

ご指定の列名、順の形式でCSVファイルが可能です。CSVファイルをExcel上で加工し資料に活用することはもちろん、貴社システムのインポート機能のインターフェースに沿った形式とすることでシステム活用が可能になります。

DBインポート

別途開発を行うことで貴社CMSサイトにインポート機能を組み込むことが可能です。

Comments are closed.