元記事:https://www.octoparse.jp/blog/70-amazing-free-data-sources-you-should-know/
ほとんどの人は、ビッグデータの収集は大変な仕事だと考えていますが、そうでもないと思います。実際にはオープンデータソースがたくさんあり、誰でも利用できます。ここでは、政府機関、医療・健康、 金融・経済、ビジネス・企業、ジャーナリズム・メディア、不動産・観光、文化・教育などに関するオープンデータソースを70選まとめました。
#一、政府機関
1.日本総務省統計局: 日本総務省統計局、統計研究研修所の共同運営によるサイトです。国勢の基本に関する統計の企画・作成・提供、国及び地方公共団体の統計職員に専門的な研修を行っています。
2.DATA.GO.JP: これは日本各府省の保有データをオープンデータとして利用できる場をつくり、データの提供側・利用側双方にオープンデータのイメージを分かりやすく示すことを目的としたポータルサイトです。
3.Data.gov: 2009年5月に設立された、アメリカ政府機関データ公開ポータルサイトです。
4.Data.gov.uk: 2009年9月に設立された、イギリス政府のオープンデータポータルサイトです。
5.米国国勢調査局: このサイトは、人口、経済、教育、地理などを含む米国市民の生活に関する政府の統計情報です。
6.The CIA World Factbook: CIAが世界各国の地図とともに毎年公開している、国別政情情報です。
7.Socrata: データポータルやデータカタログのクラウドシステムを提供しています。
8.European Union Open Data Portal: 欧州委員会出版局(Publications Office of the European Union)によって管理運営されているデータベースで、ユーロスタット・地域委員会・欧州委員会競争総局など欧州連合及び欧州委員会の各機関によるパブリックデータを収録しています。
9.Datacatalogs.org: 各国で公開されているオープンガバメントデータに関する情報を登録・検索できます。200以上の地方、地域、国内のオープンデータのカタログが、世界中からの広範囲なデータリストになることを目指しています。
10.アメリカ国立教育統計センター(NCES):2010年秋に、全米の大学等3,689機関の図書館を対象として行った調査の結果をまとめたもので、サービス、スタッフ、コレクション、電子的なサービス、情報リテラシー、予算等に関するデータが含まれています。
11.UK Data Service: 国勢調査をはじめとする経済学・社会科学分野におけるデータを登載し、学術界・産業界・政府機関等における研究者をサポートすることを目的としています。
12.統一犯罪白書(UCR): 米国連邦捜査局(FBI)が毎年発表する米国内での犯罪に関する報告書です。
#二、医療・健康
1.日本保健衛生(厚生労働統計一覧): 日本国内の医療施設や労働者、健康の保持などに関するデータを提供しています。
2.介護事業所・生活関連情報検索: 日本全国の介護保険サービス事業所の情報を提供しています。
3.アメリカ食品医薬品局(FDA): 食品や医薬品、さらに化粧品、医療機器、動物薬、たばこ、玩具など、消費者が通常の生活を行うに当たって接する機会のある商品についてのデータを更新しています。
4.ユニセフ: ユニセフは、世界中の子供の状況に関する情報を収集しています。
5.世界保健機関(WHO): 世界各国の政府と保健医療政策行政機関から報告を受け、世界各国、大陸地域別、世界全体の統計データベースを公開しています。
6.Healthdata.gov: 医療データの公開サイトで、公開されているデータは、公共機関から提供されるデータだけでなく、民間の医療機関から提供されるデータなど、200以上のデータセットが公開されています。
7.国民保健サービス(NHS): イギリス国民医療サービスの健康データセットです。
#三、金融・経済
1.世界銀行: 世界銀行はデータ公開イニシアティブにより、約8000の開発指標を無料公開しています。
2.国際通貨基金(IMF): オンラインの経済データを無料で一般に公開していて、ユーザーは、大部分のIMF加盟国の全経済セクターを網羅した豊富なマクロ経済データにアクセスすることができます。
3.UN Comtrade Database: これは国連加盟約200の国や地域の統計機関によって報告された、詳細な輸出入統計のデータベースです。1962年から最新年までの、10億以上のレコードを含む最も包括的な貿易のデータベースが使用可能です。
4.Global Financial Data: 300年をカバーする60,000社を超える企業のデータにより、グローバル経済の紆余曲折を分析するためのユニークなソースを提供します。
5.Google Finance: 株価やチャート、金融ニュース、為替レートなどの投資関連情報をリアルタイムで入手できます。
6.Google Public Data Explorer: 大量の公共データから必要なデータを簡単に探してグラフ化できるツールです。
7.アメリカ合衆国経済分析局(BEA): アメリカ合衆国の経済についてのいくつかの重要な統計を提供し、最も注目される統計は、アメリカの国内総生産で(GDP)に関するレポートです。
8.Financial Data Finder(オハイオ州立大学): 金融データに関する膨大なリンク集を提供しています。
9.全米経済研究所(NBER ): 1973年6月以降のアメリカの景気動向や世界的な金融・経済動向などの調査報告書が収録されています。
10.米国証券取引委員会(SEC): 委員会に提出された企業財務報告書から抽出された情報のデータセットです。
11.Visualizing Economics: アメリカの経済をさまざまな角度からグラフ化した情報です。
12.Financial Times: 世界53の都市に600人以上の記者を擁し、国際ビジネス・金融・政治の分野で正確なニュースと分析を提供しています。
#四、ビジネス・企業
1.Amazon API: これはAmazon自分のデータベースにアクセスするための出入り口で、Amazonから商品情報、在庫情報、注文情報などを取得できます。
2.Googleトレンド: Googleが蓄積している膨大な検索データをもとにした、人気急上昇のキーワードや特定のキーワードの検索回数の推移をグラフで確認できます。
3.HubSpot: 見込み客を惹きつけ、リードに転換し、顧客化を促すためのインバウンドマーケティング及びセールスのソフトウェアです。
4.Moz: キーワード調査、リンク構築、サイト監査、ページ最適化の洞察を含むSEOに関する洞察を提供します。
5.SEMrush: SEO対策のための競合分析はもとより、PPCやSNSの分析などデジタルマーケティングに欠かせない機能がすべてそろったオールインワンツールです。
6.Content Marketing Institute: コンテンツマーケティングに関する最新のニュース、研究です。
7.LinkedIn: ビジネス特化という性質を利用して、企業の人材採用や、個人の求職活動に利用されます。登録メンバーは5億人を超し、ビジネス情報を見つけることができます。
8.法人番号と企業情報: このサイトでは、前月末時点に公表している法人の最新情報を、全件データファイルとして提供するとともに、新規設立法人等の新たに法人番号を指定した情報、商号や所在地の変更及び閉鎖に関する日次の異動情報を差分データファイルとして提供しています。
9.OpenCorporates: 法人データのオープン化をグローバルに進めている世界最大の法人データベースサイトです。
10.Yellowpages: 地元の配管工、便利屋、整備士、弁護士、歯科医などの連絡先を見つけることができます。
11.Craigslist: 雇用、住宅、販売、サービス、地域社会、およびイベントのための地元の雑誌やフォーラムを提供しています。
12.iタウンページ: 日本全国のお店・企業の電話番号や地図、ルート案内まで全て無料で検索できます。
13.CertainTeed: アメリカまたはカナダの住宅請負業者、改造業者、設置業者、または建設業者を見つけることができます。
14.Manta: 製品、サービス、教育機会を提供する最大のオンラインリソースの1つです。
15.EU-Startups: EUのスタートアップに関するディレクトリです。
16.日本弁護士連合会: 日本全国の弁護士会・弁護士会連合会からのメッセージを掲載しています。
#五、ジャーナリズム・メディア
1.NewYorkTimes API: このAPIにより1851年以降に掲載された280万記事が検索可能になります。
2.Associated Press API: AP Content APIを使用すると、APポータルにアクセスしなくても、独自の編集ツールを使用してコンテンツを検索およびダウンロードできます。
3.Google Books Ngram Viewer: Google Booksに収録された数百万冊のデジタル化された書籍の全文データから特定の単語の出現頻度を年代別に検出することができるツールです。
4.Wikipedia: インターネット百科事典です。
5.FiveThirtyEight: これは、世論調査の分析、政治、経済、スポーツのブログに焦点を当てたWebサイトです。
6.Google Scholar: 学術用途での検索を対象としており、論文、学術誌、出版物の全文やメタデータにアクセスできます。
7.Social Mention: ソーシャルメディア上で人々が日常的に行っている会話や自然な行動に関するデータを収集し、ユーザーに言及する出版物のリアルタイム検索エンジンです。
8.Facebook API: Graph APIを使用して外部からデータを取得したり投稿したり更新したりなどのことができます。
9.Twitter API: Twitterのタイムラインやlist、検索などのデータを利用できます。
10.Instagram API: Instagram APIプラットフォームを使用して、フォロワーの取得、 ユーザー検索、自分以外のユーザーの写真取得などができます。
#六、不動産・観光
1.Castles: 1981年に設立され、住宅の販売、賃貸管理、調査および価値算定などのサービスを提供しています。
2.土地総合情報システム: 不動産の取引価格、地価公示・都道府県地価調査の価格を検索してご覧になることができます。
3.土地代データ: 日本全国の土地価格データを掲載しています。土地価格相場、地域別平均値、地価ランキングが分かります。
4.サービス付き高齢者向け住宅: 全国のサービス付き高齢者向け住宅、全件が掲載されている唯一のサイトです。
5.日本旅行業協会: 世界旅行博の開催、キャンペーン情報の提供しています。
6.公共クラウドシステム(観光地情報): 日本全国の自治体の観光情報をオープンデータとして提供しています。
7.日本政府観光局(JNTO): 主要訪日旅行市場の基礎データを提供しています。
8.メリカ旅行業者協会(ASTA): 旅行専門家の世界最大の協会です。旅行代理店や、ツアー、クルーズ、ホテル、レンタカーなどの製品を販売している会社などのメンバー情報を提供します。
#七、文化・教育
1.人文学オープンデータ共同利用センター: 情報学・統計学の最新技術を用いて人文学データの学術情報リポジトリです。
2.大学・大学院、専門教育: 学校教育に必要な情報を共有するポータルサイトです。
#八、そのほか
1.Glassdoor: 企業評価やCEO評価、給与、福利厚生などの企業に関する口コミ情報を収集しています。
2.data.uni-muenster.de: 2011年に設立された、ドイツのミュンスター大学の科学データに関するオープンデータです。