スクレイピング

PHP

【PHP】yahoo検索順位を自動的に取得したい(やりすぎ注意)

PHPを使って、実際に検索を実行して検索結果ページのHTMLを取得し、順位を把握したい。 サンプルコードなどが載っていて参考になるサイトを見つけました。 ※ $max_requestを指定して何ページ目までの検索結果を取得するか指定します。...
PHP

PHPでクロール⇒スクレイピングするのに便利なライブラリ

PHPでクロール⇒スクレイピングするのに便利なライブラリを見つけました。Goutteです。 Webスクレイピングが捗るGoutteを使ってみる ログインが必要なページもクロール簡単 PHP と Goutte ではじめる超絶簡単クローラー入門...
PHP

【PHP】yahooやgoogleの検索順位を取得したい場合はcurlをこう書く

yahooやgoogleの検索順位を取得したくても、普通にPHPからcurlで取ろうとしても失敗します。 少し工夫が必要です。下記のようにすれば私の環境ではyahooやgoogleの検索ページから情報が取得できました。 あとは取得してきたr...
役立つサイト

レンタルサーバーとか無い人でもWEB上でスクレイピング・定点観測できる無料サイトを発見。

レンタルサーバーとか無い人でもWEB上でスクレイピング~定点観測できる無料サイトを発見。 WEB上でプログラムを書き、スクレイピングして成果物をみんなで共有しましょう、っていう感じのスタンスのサイトみたい。
PHP

PHPでPDFをスクレイピングするならZendPdfが便利らしい

「PHP PDF スクレイピング」で調べるとxpdfばかり出てきますが、ZendPdfが何かと便利らしいです。 PDFファイルの読み込み・編集・結合(マージ)などの機能がそろっているのはスゴイですね。 ZendPdfをレンタルサーバーで利用...
PHP

PHPのcurl()でレスポンスが文字化けしたら確認すること2つ

curlで情報取得するときに返り値が文字化けした時の対処法です。 以下の2点を確認します。 取得先のHTMLが文字コード「EUC-jp」で書かれてないか? レスポンスがgzipで圧縮されていないか? 細かいことは理解できなくても構いません。...
PHP

【PHP】サイトから情報取得→スクレイピングの手順

まず、コピペで使えるPHPです。 スクレイピングしたいサイトのURLアドレスを指定すると、そのサイトのソースが返ってきます。 ワードプレスをお使いの場合 ワードプレスをお使いの方は、上記コードをfunctions.phpの一番下などにコピー...