はじめに

比較的簡単そうなライブラリを見つけたので忘備録代わりに書きました。

下記のスクレイピングライブラリを用いてヤフオクのスクレイピングを行います。
https://github.com/notfoundsam/yahoo-auction

具体的には、コンソールアプリケーションを作成し xml を取得します。

スクレイピングには十分注意してください。
また、本記事の実行結果に対して責任を負いません。自己責任にておこなってください。

環境の準備

5.4 以上のバージョンが使える PHP の環境を用意しましょう。（本記事では割愛）

PHPに加え、下記のモジュールをインストールしておく。

php-curl
php-mbstring
php-xml

まずは、git からソースコードをダウンロード。

git clone https://github.com/notfoundsam/yahoo-auction.git yahoo-auction

次は、必要なライブラリを composer でインストール。

php composer.phar install

vender ディレクトリ配下にライブラリがインストールできていれば成功です。

$ ls
LICENSE  README.md  composer.json  composer.lock  composer.phar  cookie.cache  examples  src  vendor

アプリケーションキーを取得

Yahooデベロッパーネットワークからアプリケーションキーを取得する。
始め方は下記リンク
https://developer.yahoo.co.jp/start/

0. Yahooアカウントがない場合は場合は会員登録

アカウントはyahooメールなどで使うアカウントと同じです。
登録はこちらから。
https://account.edit.yahoo.co.jp/registration?.src=ydn&.done=https%3A%2F%2Fdeveloper.yahoo.co.jp%2Fstart%2F

1. アプリケーションを登録し、Clientキーを取得

プログラムの実行

examples/main.php を編集

下記の変数にそれぞれ値を入れる。

$userName　：　Yahoo アカウントの名称（メールアドレスの@yahoo.co.jpの前部分)
$userPass　：　Yahoo アカウントのパスワード
$appId　　：　先ほどコピーした Client ID

21, 24, 27行目をコメントアウトする。

  1 <?php
  2
  3 require __DIR__ . '/../vendor/autoload.php';
  4
  5 use Yahooauc\Browser as Browser;
  6
  7 $userName = "your_yahoo_user";
  8 $userPass = "your_yahoo_pass";
  9 $appId    = "your_app_id";
 10
 11 /* Get saved cookie */
 12 $cookie = file_get_contents('cookie.cache');
 13 $cookieJar = $cookie !== false ? unserialize($cookie) : [];
 14
 15 $browser = new Browser($userName, $userPass, $appId, $cookieJar);
 16
 17 /* Get information about lot */
 18 var_dump($browser->getAuctionInfoAsXml("lotId"));
 19
 20 /* Get list of lots from first bidding page */
 21 #var_dump($browser->getBiddingLots(1));
 22
 23 /* Get IDs of lots from first won page */
 24 #var_dump($browser->getWonIds(1));
 25
 26 /* Bid on lot */
 27 #var_dump($browser->bid("lotId", 100));
 28
 29 /* Save latest cookie */
 30 $cookieJar = $browser->getCookie();
 31 $cookie = serialize($cookieJar);
 32 file_put_contents('cookie.cache', $cookie);

実行

ヤフオクのURLからlotIdを取得。
下記のURLだと r272086302 が該当するらしい。
https://page.auctions.yahoo.co.jp/jp/auction/r272086302

18行目の lotId を書き換えて実行。
すると xml が出力される。

$ php examples/main.php
object(SimpleXMLElement)#25 (2) {
  ["@attributes"]=>
  array(3) {
    ["totalResultsAvailable"]=>
    string(1) "1"
    ["totalResultsReturned"]=>
    string(1) "1"
    ["firstResultPosition"]=>
    string(1) "1"
  }
  ["Result"]=>
  object(SimpleXMLElement)#26 (58) {
    ["AuctionID"]=>
    string(10) "r272086302"
    ["CategoryID"]=>
    string(10) "2084193587"
    ["CategoryFarm"]=>
    string(1) "3"
    ["CategoryIdPath"]=>
    string(57) "0,23336,2084039759,2084039792,23412,2084042169,2084193587"
    ["CategoryPath"]=>
    string(171) "オークション > コンピュータ > パソコン > Windows > ノートブック、ノートパソコン > パナソニック、松下電器産業 > 14インチ以上"
    ["Title"]=>
    string(114) "Panasonic ノートパソコン　CF-LX6LDGQR　 Let's note Let's note 2018年春モデル　全国送料無料！"
    ["Seller"]=>
    object(SimpleXMLElement)#23 (4) {
      ["Id"]=>
      string(11) "kazuag_2016"
      ["Rating"]=>
      object(SimpleXMLElement)#39 (6) {
        ["Point"]=>
        string(3) "757"
        ["TotalGoodRating"]=>
        string(3) "766"
        ["TotalNormalRating"]=>
        string(1) "2"
        ["TotalBadRating"]=>
        string(1) "9"
        ["IsSuspended"]=>
        string(5) "false"
        ["IsDeleted"]=>
        string(5) "false"
      }
      ["ItemListURL"]=>
      string(83) "https://auctions.yahooapis.jp/AuctionWebService/V2/sellingList?sellerID=kazuag_2016"
      ["RatingURL"]=>
      string(76) "https://auctions.yahooapis.jp/AuctionWebService/V1/ShowRating?id=kazuag_2016"
    }
    ["AuctionItemUrl"]=>
    string(55) "https://page.auctions.yahoo.co.jp/jp/auction/r272086302"
    ["Img"]=>
    object(SimpleXMLElement)#24 (7) {
      ["Image1"]=>
      string(161) "https://auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img1200x900-15271617998nogmn77692.jpg"
      ["Image2"]=>
      string(161) "https://auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303964pbsbnu623741.jpg"
      ["Image3"]=>
      string(161) "https://auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303968wyla78639367.jpg"
      ["Image4"]=>
      string(161) "https://auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303972jkzblb637411.jpg"
      ["Image5"]=>
      string(161) "https://auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303976ybvks4183322.jpg"
      ["Image6"]=>
      string(161) "https://auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303981vlp2yu639415.jpg"
      ["Image7"]=>
      string(161) "https://auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303985jtxeoj620661.jpg"
    }
    ["Thumbnails"]=>
    object(SimpleXMLElement)#28 (7) {
      ["Thumbnail1"]=>
      string(206) "https://wing-auctions.c.yimg.jp/sim?furl=auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img1200x900-15271617998nogmn77692.jpg&cp=5&rc=298"
      ["Thumbnail2"]=>
      string(206) "https://wing-auctions.c.yimg.jp/sim?furl=auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303964pbsbnu623741.jpg&cp=5&rc=298"
      ["Thumbnail3"]=>
      string(206) "https://wing-auctions.c.yimg.jp/sim?furl=auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303968wyla78639367.jpg&cp=5&rc=298"
      ["Thumbnail4"]=>
      string(206) "https://wing-auctions.c.yimg.jp/sim?furl=auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303972jkzblb637411.jpg&cp=5&rc=298"
      ["Thumbnail5"]=>
      string(206) "https://wing-auctions.c.yimg.jp/sim?furl=auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303976ybvks4183322.jpg&cp=5&rc=298"
      ["Thumbnail6"]=>
      string(206) "https://wing-auctions.c.yimg.jp/sim?furl=auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303981vlp2yu639415.jpg&cp=5&rc=298"
      ["Thumbnail7"]=>
      string(206) "https://wing-auctions.c.yimg.jp/sim?furl=auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0405/users/7f21a39bebfc9b40399c86600b230d8a8cefb62c/i-img640x480-1527303985jtxeoj620661.jpg&cp=5&rc=298"
    }
    ["Initprice"]=>
    string(4) "1.00"
    ["Price"]=>
    string(8) "61500.00"
    ["Quantity"]=>
    string(1) "1"
    ["AvailableQuantity"]=>
    string(1) "1"
    ["WatchListNum"]=>
    string(2) "25"
    ["Bids"]=>
    string(3) "183"
    ["HighestBidders"]=>
    object(SimpleXMLElement)#27 (2) {
      ["@attributes"]=>
      array(1) {
        ["totalHighestBidders"]=>
        string(1) "0"
      }
      ["IsMore"]=>
      string(5) "false"
    }
    ["ItemStatus"]=>
    object(SimpleXMLElement)#29 (2) {
      ["Condition"]=>
      string(5) "other"
      ["Comment"]=>
      string(34) "展示品ですが1年保証です"
    }
    ["ItemReturnable"]=>
    object(SimpleXMLElement)#30 (2) {
      ["Allowed"]=>
      string(5) "false"
      ["Comment"]=>
      string(75) "初期不良の場合メーカー保証にて対応をお願い致します"
    }
    ["StartTime"]=>
    string(25) "2018-09-24T15:37:37+09:00"
    ["EndTime"]=>
    string(25) "2018-09-30T22:36:48+09:00"
    ["Bidorbuy"]=>
    string(9) "178000.00"
    ["TaxRate"]=>
    string(1) "0"
    ["Reserved"]=>
    object(SimpleXMLElement)#31 (0) {
    }
    ["IsBidCreditRestrictions"]=>
    string(4) "true"
    ["IsBidderRestrictions"]=>
    string(4) "true"
    ["IsBidderRatioRestrictions"]=>
    string(4) "true"
    ["IsEarlyClosing"]=>
    string(4) "true"
    ["IsAutomaticExtension"]=>
    string(4) "true"
    ["IsOffer"]=>
    string(5) "false"
    ["HasOfferAccept"]=>
    string(5) "false"
    ["IsDsk"]=>
    string(4) "true"
    ["IsCharity"]=>
    string(5) "false"
    ["SalesContract"]=>
    string(5) "false"
    ["IsFleaMarket"]=>
    string(5) "false"
    ["Option"]=>
    object(SimpleXMLElement)#32 (4) {
      ["FreeshippingIcon"]=>
      string(70) "https://s.yimg.jp/images/auct/template/ui/auc_mod/ic_free_shipping.png"
      ["BuynowIcon"]=>
      string(61) "https://s.yimg.jp/images/auct/template/ui/auc_mod/ic_9008.gif"
      ["EasyPaymentIcon"]=>
      string(41) "https://s.yimg.jp/images/pay/icon_s16.gif"
      ["IsTradingNaviAuction"]=>
      string(4) "true"
    }
    ["Description"]=>
    object(SimpleXMLElement)#33 (0) {
    }
    ["SeoKeywords"]=>
    object(SimpleXMLElement)#34 (0) {
    }
    ["Payment"]=>
    object(SimpleXMLElement)#35 (1) {
      ["EasyPayment"]=>
      object(SimpleXMLElement)#39 (2) {
        ["IsCreditCard"]=>
        string(4) "true"
        ["IsNetBank"]=>
        string(4) "true"
      }
    }
    ["BlindBusiness"]=>
    string(10) "impossible"
    ["SevenElevenReceive"]=>
    string(10) "impossible"
    ["ChargeForShipping"]=>
    string(6) "seller"
    ["Location"]=>
    string(9) "東京都"
    ["IsWorldwide"]=>
    string(5) "false"
    ["ShipTime"]=>
    string(5) "after"
    ["ShipSchedule"]=>
    string(1) "1"
    ["IsPrivacyDeliveryAvailable"]=>
    string(5) "false"
    ["ManualStartTime"]=>
    string(25) "2018-09-24T15:37:37+09:00"
    ["Shipping"]=>
    object(SimpleXMLElement)#36 (2) {
      ["@attributes"]=>
      array(1) {
        ["totalShippingMethodAvailable"]=>
        string(1) "1"
      }
      ["Method"]=>
      object(SimpleXMLElement)#39 (5) {
        ["Index"]=>
        string(1) "0"
        ["Name"]=>
        string(15) "ゆうパック"
        ["NameRaw"]=>
        string(15) "ゆうパック"
        ["IsOfficialDelivery"]=>
        string(5) "false"
        ["IsPrivacyDeliveryAvailable"]=>
        string(5) "false"
      }
    }
    ["BaggageInfo"]=>
    object(SimpleXMLElement)#37 (4) {
      ["Size"]=>
      string(3) "－"
      ["SizeIndex"]=>
      object(SimpleXMLElement)#39 (0) {
      }
      ["Weight"]=>
      string(3) "－"
      ["WeightIndex"]=>
      object(SimpleXMLElement)#40 (0) {
      }
    }
    ["IsAdult"]=>
    string(5) "false"
    ["IsCreature"]=>
    string(5) "false"
    ["IsSpecificCategory"]=>
    string(5) "false"
    ["IsCharityCategory"]=>
    string(5) "false"
    ["CharityOption"]=>
    object(SimpleXMLElement)#38 (1) {
      ["Proportion"]=>
      string(1) "0"
    }
    ["AnsweredQAndANum"]=>
    string(1) "0"
    ["Status"]=>
    string(4) "open"
    ["ItemDescriptionUrl"]=>
    string(77) "https://page.auctions.yahoo.co.jp/jp/show/description?aID=r272086302&direct=1"
  }
}

あとは csv にするなり、 html にするなり、好きにできそう。

まとめ

PHP のヤフオクスクレイピングライブラリを試した。
ソースコードを読んでいると、落札リストの取得や、注文なんかもできそうな気がする。