Node.js + StreamingAPIで取得したTweetをMongoDBに流し込む

前々からやってるTweet取得をMongoDBに流し込みます。
モジュールはMongooseを使います

##mongoose

Node.jsでMongoDBを使うときに使うモジュールです。MongoDB公式モジュールよりも人気があります。

Mongooseを使ってNode.jsとMongoDBの接続サンプル

とりあえずミニマムっぽいものを書いてみます。

$ npm install mongoose

mongoose.js

var mongoose = require('mongoose');
mongoose.connect('mongodb://localhost/n0bisuke');

var Project = mongoose.model('Project', { name: String });

var project = new Project({ name: 'ligblog' });
project.save(function (err) {
  if (err) //失敗時
  console.log('保存成功');
});

QuickStartを参考にして
http://mongoosejs.com/docs/guide.html

mongoose.js

var DB_NAME = 'myapp';

var mongoose = require('mongoose');
mongoose.connect('mongodb://localhost/'+DB_NAME);

var db = mongoose.connection;
db.on('error', console.error.bind(console, 'connection error:'));
db.once('open', function callback () {
  console.log('connection success');
});

var Schema   = mongoose.Schema;

var TwitterSchema = new Schema({
	body:  {
		text: String,
		url: String,
		image: String,
		location: {
			lat: String,
			lon: String
		}
	},
	user: {
		twitter_id: String,
		name: String,
		screen_name: String,
		description: String,
		images: String,
		location: {
			lat: String,
			lon: String
		}
	},
	create_at: { type: Date, default: Date.now }
});

mongoose.model('TwModel', TwitterSchema);
var TwModel = mongoose.model('TwModel');
var twmodel = new TwModel();

twmodel.user.name = 'n0bisuke';
twmodel.save(function (err, data) {
  if (err) return console.error(err);
  console.log(data);
});

実行

$ node mongoose.js
connection success
{ __v: 0,
  _id: 547c5e89993ef9e1cd5f7c39,
  create_at: Mon Dec 01 2014 21:26:49 GMT+0900 (JST),
  user: { name: 'n0bisuke', location: {} },
  body: { location: {} } }

##TwitterStreamingAPIから流し込み

例によって、サンプルを試している感じなのでファイル分けとかは無しです。苦笑

mongoose.js

var DB_NAME = 'myapp';
var mongoose = require('mongoose');
mongoose.connect('mongodb://localhost/'+DB_NAME);

var db = mongoose.connection;
db.on('error', console.error.bind(console, 'connection error:'));
db.once('open', function callback () {
  console.log('connection success');
});

var Schema   = mongoose.Schema;

var TwitterSchema = new Schema({
	content:  {
		text: String,
		url: String,
		image: String,
		location: {
			lat: String,
			lon: String
		}
	},
	user: {
		twitter_id: String,
		name: String,
		screen_name: String,
		description: String,
		images: String,
		location: {
			lat: String,
			lon: String
		}
	},
	create_at: { type: Date, default: Date.now }
});

mongoose.model('TwModel', TwitterSchema);

/*twitter設定*/
var twitter = require('twitter');

var twit = new twitter({
  consumer_key: 'xx',
  consumer_secret: 'xx',
  access_token_key: 'xx',
  access_token_secret: 'xx'
});

/**/

var TwModel = mongoose.model('TwModel');
var keyword = process.argv[2]; //第一引数
var option = {'track': keyword};

console.log(keyword+'を含むツイートを取得します。');

twit.stream('statuses/filter', option, function(stream) {
	stream.on('data', function (data){
		if(data.lang === 'ja'){
			
			var twmodel = new TwModel();
			twmodel.content = {
				text: data.text
			};

			twmodel.user = {
				screen_name: data.user.screen_name
			};

			twmodel.save(function (err, data) {
			  if (err) return console.error(err);
			  console.log(data);
			});

		}
  });
});

同じように実行してみます。tweetを取得するたびにMongoDBに流し込んでくれます。

MongoShellで確認するとちゃんと保存されています。