はじめに
データサイエンティスト検定（DS検定）に向けて勉強しています。アウトプットとして詰まった単語をまとめました。
| 単語 | 概要 | 補足 |
|---|---|---|
| Apache Hadoop | 大規模データを効率的に分散処理・管理するためのソフトウェア基盤(ミドルウェア)の一つ。HDFS (Hadoop Distributed File System)とHadoop MapReduce（データ処理フレームワーク）により構成されている。対象データが大規模で更新が少なく、構造が変化しやすい場合に向いている。ノード数を増やす事で処理の性能を上げることができる。 |  |
| Spark | 大規模データのクラスターコンピューティングの処理速度を上げるため、HDDやSSDでなくメモリにデータを格納する事でHadoopより高速に処理が行える。 |  |
| 5フォース分析 | 企業が晒されている脅威を5つに項目にわけ分析する手法 | ・業界への新規参入企業の存在 ・代替製品の存在 ・競合会社の存在 ・売り手の交渉力 ・買い手の交渉力 |
| AIDMA(アイドマ) | 消費者行動を５つに分類し、分析する分析手法 | ・Attention ・Interest ・Desire ・Memory ・Action |
| AISAS(アイサス) | AIDMAが実店舗向けに対し、ネット上の消費者行動を分析するスキーム | ・Attention ・Interest ・Search ・Action ・Share |
| CVCA （Customer Value Chain Analysis ：顧客価値連鎖分析） |
ステークホルダー（利害関係者）を全て上げ、プロダクト、金銭、データなどの流れを可視化したもの。ビジネススキーム。 |  |
| RFM分析 | 顧客をRecency、Frequency、Monetaryのセグメントで区切り、自社の顧客を分析する |  |
| MECE | Mutually Exclusive, Collectively Exhaustive(重複なく、漏れなく) | - |
| 請負契約 | 請負人が仕事を完成させることを約束し、その結果に対して報酬が支払われる形式の契約です。 請負人は、依頼された仕事を完成させる義務があり、完成していない状態であったり、依頼主の要求レベルを満たしていなかったりする場合は、報酬を請求することができない | 目的:仕事の完了・成果物の納品 |
| 準委任契約 | 受任者の義務は委任事務の処理をすること。報酬の支払条件とされる成果が達成できなかったとしても、ベンダーは善管注意義務を果たしていれば債務不履行責任を負わない | 目的:業務の処理 |
| 個人識別符号 | その情報だけで特定の個人を識別できる物 | 例）指紋、顔、DNA、運転免許証、パスポート |
| 匿名加工情報 | 特定の個人を識別する事ができないように個人情報を加工した情報。本人の許可がなくとも事業者間で共有可能。第三者は不可。 | ・個人を識別できる記述を全て又は一部の削除 ・個人識別符号の全削除 ・個人情報と他の情報を連結する符号の削除 ・特異な記述の削除 |
| 仮名加工情報 | 他のデータと照合しないかぎり特定の個人を識別する事ができない様に個人情報を加工した情報。漏洩や紛失の際の個人情報保護委員会への報告義務はない。 | ・特定の個人を識別する事ができない ・個人識別符号の全削除 ・対照表と照合すれば本人がわかる程度まで加工する ・必ずしも個人情報とみなされるわけじゃない |
| オプトアウト | 条件を満たした場合に、本人の許可をとらなくとも第三者に個人情報を提供できる制度。公開元は本人に通達・認知させる義務はある。 | ・公開差し止め義務あり ・要配慮個人情報は公開不可 ・個人情報保護委員会に届け出す必要あり |
| オプトイン | 本人の許可を得て第三者に個人情報を提供できる制度 | - |
| 要配慮個人情報 | 他本人に他本人に対する不当な差別、偏見その他の不利益が生じないようにその取扱いに特に配慮を要するもの | 人種・信条・社会的身分・病歴・犯罪の経歴など |
| 機微情報 | 要配慮個人情報並びに、労働組合への加盟、門地（家柄）、本籍地、保健医療及び性生活に関する情報。 | 機微：センシティブ |
| 一様分布 | Uniform Distribution |  |
| 二項分布 | Binomial Distribution |  |
| ベルヌーイ分布 | Bernoulli distribution |  |
| オープンデータ | 1. 営利目的か非営利目的かを問わず二次利用が可能 2. 機械判読に適している（コンピュータがで容易に処理できるデータ形式） 3.無償で利用可能 |
※高度情報通信ネットワーク社会推進戦略本部に基づく |
| フィルタ処理 | 画像データを分析する際に、画像が持つ特徴を強調するための処理 | ・輪郭強調 ・ぼかし ・ノイズの除去 |
| anonymous | FTPサーバー内で不特製多数のユーザーに向けファイルを共有する際のユーザーID名 | |
| コンテナ | Dockerに代表されるコンテナ仮想化とは、ホストOSのプロセスの一部としてリソースを実行・処理に割く手法。仮想化はハイパーバイザーによりゲストOSを立てるため実行環境がホストOSとは異なる。 |  |
| 正規化 | 1. 非正規化データより、行単位の繰り返しが無くなったもの 2. 部分関数従属している列が切り出されたもの℗, FK) 3. 主キー以外の列に関数従属している列が切り出されたもの |
- |
| 十分認定 | 越境移転規制が適用されない国に降りる規定 | 越境移転規制:EUと同等の個人情報保護水準を持たなあい地域へのデータの持ち出しを禁止する規制 |
| ELSI | 新たに開発された技術を社会で実用化する過程で生じる技術以外の課題 | Ethical, Legal, and Social Issues |
| ホワイトボックステスト | システムの内部構造を意識して行うテスト。「制御フローテスト」や「データフローテスト」などの手法が用いられる |  |
| 制御フローテスト | ホワイトボックステストの手法の一つで、プログムのフローチャートに着目し、分岐を網羅的にテストする手法 | ・命令網羅 ・分岐網羅 ・条件網羅 |
| データフローテスト | プログラムの中で使用されるデータに着目し、データがどこで使用され、どこで消滅するかを検証する。データの「定義・参照・消滅」に着目するテスト | ・定義 ・参照 ・消滅 |
| ブラックボックステスト | システムの入出力を意識して行うテストで、非エンジニアでも行える。「境界値分析」と「同値分割手法」がある |  |
| 境界値分析 | ブラックボックステストの手法の一つで、出力が同じになる入力データ群から、出力値が変わる境界のデータを入力する |  |
| 同値分割手法 | 出力が同じになるグループから代表を決めて入力してテストする手法 |  |
| Cyber-Physical System (CPS) | 現実世界でIoTやセンサーなどから収集したデータを集約し、仮想空間（サイバー空間）を作り分析、解析するシステム | |
| データ駆動型社会 | Cyber-Physical System (CPS)で得た知識や情報を現実社会に生かし産業を活性化、社会問題解決を図る社会 | |
| 形態素解析 | 文を形態素（単語）に分割し、形態素の品詞（名詞、動詞など）を判別する解析 | 対応ツール ・MeCab ・JUMAN ・ChaSen |
| 係り受け解析 | 形態素解析で分割した形態素や文節の関係を調べる解析方法 | 対応ツール ・CaboCha ・KNP ・GiNZA |
| GLUE (Genral Language Understanding Evaluation) | 自然言語処理の精度を測定すつための評価水準 |
おわりに
ビジネス、法律、理論、現状、様々な角度でテストされるようです