クラウドソーシングとは

Crowdsourcing = Crowd(群衆) + sourcing(業務委託)
不特定多数の人に業務を委託すること。

クラウドソーシングの種類

クラウドソーシングは、3種類に分かれる
- プロジェクト型
- コンペティション型
- マイクロタスク型

参考：中小企業白書2014年版

プロジェクト型

いわゆる普通の業務委託。

代表的なサイト
- https://www.lancers.jp
- https://www.upwork.com/

コンペティション型

1つの業務を、コンペ形式で進める。デザイン系に多い。

代表的なサイト

マイクロタスク型

だれでもできるタスクを割り振る。1タスクの単価は数円から100円程度。

代表的なサイト
- https://aws.amazon.com/jp/mturk/
- https://crowdworks.jp
- https://www.figure-eight.com/ (旧 crowdflower)

今回はマイクロタスク型の話

何に使うのか？

機械学習のデータを集めるの面倒ですよね？
機械学習のタグ付け、スーパー面倒ですよね？

Amazon Mechanical Turk

マイクロタスク型で老舗（多分、発祥の地）
- 2005年サービス開始
一応、AWSシリーズに入っている
- が、未だにベータで、UIが全く進化していない（いわゆるWeb2.0）
- ドキュメントが余り整備されていない。ブログに記事を書く、低コスト運用

Amazon Mechanical Turk

今でもユーザーは圧倒的に多い。
2017年に日本から使えるようになった（それまでは米国アドレスが必要）
Mechanical Turkとはチェスを指す機械人形。実際は中に人が隠れているという手品。

CC BY-SA 3.0

相場

MTurk の相場は激安。ただし、1タスクの粒度が細かい
服を分類するタスクは $0.02
非人道的との批判も根強い
- というか、トルコ人に失礼では無いか
- もっとも、MturkのWorkerは、搾取されている層ではない

MTurk の Workerは誰なのか

調査された論文がある
若者、白人、都会住まい、Office workerが多い
発展途上国の人を安く使うイメージをもたれるが、違う
- アメリカの若い中産階級が娯楽のような感覚でしているようにみえる

タスクを登録してみた

Bounding box を定義するタスク。

Bounding box タスク

やりかたは公式ブログより
$0.05 で55件のタグ付けが瞬殺だった
報酬は高い方だった

画像収集タスク

やりかたは公式ブログより
こちらは $0.06 では全然集まらず。$0.15 で出し直してみたが、不調
$0.3 ぐらいは必要か
そうすると、日本の http://crowdworks.jp と変わらない。

MTurkの良いところ

ドキュメントはイマイチだが、APIは一通り揃っている
- スクリプトでタスク自動登録
- Formから、結果を送信・保存
ユーザーが圧倒的に多い

と、ここで、

なぜか、MTurkアカウント停止

MTurkアカウント停止の理由

Amazon Mechanical Turk is a U.S.-based website,
we currently accept Requester registrations from
select countries outside of the United States.

日本は確かに、select countriesに入っているのだが。。

その後

mturk-requester-support@amazon.com に送るが解決せず（最近は返事もなく）
AWS のサポートは迅速に対応してくれるが、MTurkは窓口が違うため、特に解決できず
調べてみると、同じような事例は多い。MTurkを安定して使うには、USのアドレスを持っていないとダメかも

日本のクラウドソーシングを使ってみる

CrowdWorks

https://crowdworks.jp
MTurkは単価は安かったが、結局は安く無さそうだった
- 1件2円なら、30件まとめると60円。これは、crowdworks.jp の単価と同じ
- MTurkのWorkerがアメリカの中産階級だとすると、日本の方が安いかもしれない
MTurkは、一部のタスクは品質が低かった
- 特に画像アップロードタスクは、Google Image Searchの結果を貼り付ける人が多い。。

CrowdWorks の Worker は誰？

アンケートで調べてみた（財布の都合で50人対象）
年齢層
- 30代 17人
- 40代 17人
- 50歳以降 9人
- 20代 7人

Workerの住んでいる場所

関東 19人
中部 10人
近畿 7人
九州・沖縄 4人
四国 3人
東北 3人
北海道 3人
中国地方 1人

Workerの職業

会社員・会社役員 13人
自営業 11人
無職 10人
専業主婦・主夫 9人
その他 6人
IT系会社員・会社役員 1人

CrowdWorks の Workers

会社員・自営業が多い
- MTurkに比べ、無職、専業主婦・主夫が多い印象
MTurkと同じく都市部の人が多い
30〜49歳が多い

CrowdWorks のタスク設計

UIは使いやすく、簡単にフォームを作れる
APIは無く、MTurkのように任意のUIからデータを保存できない
仕方が無いので、DynamoDBに保存するようにした

タスクの相場観

画像アップロードタスク1
- スーパーボールを撮影した写真を3枚送って下さい
- 単価 32円
- 募集タスク数 30
- 完了までの時間 7日＋23時間19分
- 1件 6.36時間

タスクの相場観2

画像アップロードタスク2
- スーパーボールを撮影した写真を3枚送って下さい
- 単価 16円 (先ほどの半額)
- 募集タスク数 100
- 完了までの時間？ 11日経って53件完了
- 1件 4.89時間

タスクの相場観3

画像をBoundingboxで囲うタスク(30枚)
- 画像の中からボールをマウスで囲う（データのタグ付け作業）
- 単価 32円 (30枚。1枚1円)
- 募集タスク数 7
- 完了までの時間 19分
- 1件 2.7分