PHP 【PHP】yahoo検索順位を自動的に取得したい（やりすぎ注意）
PHPを使って、実際に検索を実行して検索結果ページのHTMLを取得し、順位を把握したい。サンプルコードなどが載っていて参考になるサイトを見つけました。※ $max_requestを指定して何ページ目までの検索結果を取得するか指定します。$m...
スクレイピング
PHP PHP PHPでクロール⇒スクレイピングするのに便利なライブラリ
PHPでクロール⇒スクレイピングするのに便利なライブラリを見つけました。Goutteです。Webスクレイピングが捗るGoutteを使ってみるログインが必要なページもクロール簡単PHP と Goutte ではじめる超絶簡単クローラー入門 ログ...
PHP 【PHP】yahooやgoogleの検索順位を取得したい場合はcurlをこう書く
yahooやgoogleの検索順位を取得したくても、普通にPHPからcurlで取ろうとしても失敗します。少し工夫が必要です。下記のようにすれば私の環境ではyahooやgoogleの検索ページから情報が取得できました。 あとは取得してきたre...
役立つサイト レンタルサーバーとか無い人でもWEB上でスクレイピング・定点観測できる無料サイトを発見。
レンタルサーバーとか無い人でもWEB上でスクレイピング～定点観測できる無料サイトを発見。WEB上でプログラムを書き、スクレイピングして成果物をみんなで共有しましょう、っていう感じのスタンスのサイトみたい。
PHP PHPでPDFをスクレイピングするならZendPdfが便利らしい
「PHP PDF スクレイピング」で調べるとxpdfばかり出てきますが、ZendPdfが何かと便利らしいです。PDFファイルの読み込み・編集・結合（マージ）などの機能がそろっているのはスゴイですね。ZendPdfをレンタルサーバーで利用する...
PHP PHPのcurl()でレスポンスが文字化けしたら確認すること２つ
curlで情報取得するときに返り値が文字化けした時の対処法です。以下の2点を確認します。 取得先のHTMLが文字コード「EUC-jp」で書かれてないか？ レスポンスがgzipで圧縮されていないか？細かいことは理解できなくても構いません。次の...
PHP 【PHP】サイトから情報取得→スクレイピングの手順
まず、コピペで使えるＰＨＰです。スクレイピングしたいサイトのURLアドレスを指定すると、そのサイトのソースが返ってきます。ワードプレスをお使いの場合 ワードプレスをお使いの方は、上記コードをfunctions.phpの一番下などにコピーアン...