Webサイトの構造を簡単にAPI化できるサービス kimono
今日は、スクレイピングに便利なサービスのご紹介です。
kimono : Turn websites into structured APIs from your browser in seconds
これは、画面上でスクレイピングしたいサイトのURLを入力して、どの部分を使いたいかを選択するだけで、その部分だけを手軽に API 化できるサービスです。
エッチなサイトを表示させて、タイトルとか動画のURLとかをぽちぽち選択すれば下のような JSON を返す API の出来上がり。
H365 - エッチなエロ動画を XVIDEOS などから厳選して配信(スマートフォン対応)無料動画です
でも利用させていただいています。
{ name: "ero-porn_net", lastrunstatus: "success", lastsuccess: "Mon Feb 03 2014 23:34:48 GMT+0000 (UTC)", nextrun: "Tue Feb 04 2014 00:34:48 GMT+0000 (UTC)", frequency: "hourly", newdata: true, results: { collection1: [ { thumbnail: { src: "http://example.com/videos/1.jpg", title: "エロ過ぎてたまらない。美人妻の乱れ" }, header: { text: "エロ過ぎてたまらない。美人妻の乱れ", href: "http://example.com/movie/1" }, date: "更新日:2014/02/03 10:28" }, { thumbnail: { src: "http://example.com/videos/2.jpg", title: "エロエロ動画サンプル" }, header: { text: "エロエロ動画サンプル", href: "http://example.com/movie/2" }, date: "更新日:2014/02/03 9:42" } ] } }
すごく便利です。いろいろな使い方がありそうですね。 Yahoo! Pipes なんかと組み合わせれば、プログラムを書かなくてもデータの整形や抽出が簡単にできちゃいそうです。
取得先のサイトをどれくらいの間隔で訪問するかを決めることができたり(Realtime、Hourly、Daily、Weekly、Monthly)もしますし、返すことのできるデータ形式に JSON、CSV、RSS があるので、RSS を配信していないサイトの新着を知るなんてことお簡単にできそうです。
オススメのサービスです。著作権等には注意して利用してください。