ゆるく働き ゆるく生きる ゆるいだれかの日記

menu

ゆるりの足あと


TAGスクレイピング

【PHP】yahoo検索順位を自動的に取得したい(やりすぎ注意)

PHPを使って、実際に検索を実行して検索結果ページのHTMLを取得し、順位を把握したい。 サンプルコードなどが載っていて参考になるサイトを見つけました。 http://pastebin.com/rjsv49mF ※ $ma…

PHPでクロール⇒スクレイピングするのに便利なライブラリ

PHPでクロール⇒スクレイピングするのに便利なライブラリを見つけました。Goutteです。 Webスクレイピングが捗るGoutteを使ってみる ログインが必要なページもクロール簡単 PHP と Goutte ではじめる超絶簡単…

【PHP】yahooやgoogleの検索順位を取得したい場合はcurlをこう書く

yahooやgoogleの検索順位を取得したくても、普通にPHPからcurlで取ろうとしても失敗します。 少し工夫が必要です。下記のようにすれば私の環境ではyahooやgoogleの検索ページから情報が取得できました。 [cra…

レンタルサーバーとか無い人でもWEB上でスクレイピング・定点観測できる無料サイトを発見。

レンタルサーバーとか無い人でもWEB上でスクレイピング~定点観測できる無料サイトを発見。 WEB上でプログラムを書き、スクレイピングして成果物をみんなで共有しましょう、っていう感じのスタンスのサイトみたい。 https://sc…

PHPでPDFをスクレイピングするならZendPdfが便利らしい

「PHP PDF スクレイピング」で調べるとxpdfばかり出てきますが、ZendPdfが何かと便利らしいです。 PDFファイルの読み込み・編集・結合(マージ)などの機能がそろっているのはスゴイですね。 ZendPdfをレンタ…

PHPのcurl()でレスポンスが文字化けしたら確認すること2つ

curlで情報取得するときに返り値が文字化けした時の対処法です。 以下の2点を確認します。 取得先のHTMLが文字コード「EUC-jp」で書かれてないか? レスポンスがgzipで圧縮されていないか? 細かいこ…

【PHP】サイトから情報取得→スクレイピングの手順

まず、コピペで使えるPHPです。 スクレイピングしたいサイトのURLアドレスを指定すると、そのサイトのソースが返ってきます。 ワードプレスをお使いの場合 [crayon-5a1527621e045480529061/] …

過去に作成したサイト集

当サイト利用WordPressテーマ

WordPressテーマ「Chill (tcd016)」