twitterからtweetの収集する際、普通にGetSearchを叩くと、RTされたツイートはそれぞれRTに対してidが振られ、別々のツイートとして認識されてしまうため、検索結果に複数同じテキストのtweetが出てきてしまう。
テキスト分析をするにしては不都合なのでRTされたツイートを一つのツイートとして検索するためにはクエリにexclude:retweetsをつけることで除外できる。
python-twitterによる実行結果の違い
In [1]: tweet = Api.GetSearch("湘南藤沢キャンパス")
In [2]: for a in tweet:
print "ID: "+str(a.id)
print "text: \""+a.text+ "\""
...:
ID: 739627160470704128
text: "I'm at 慶應義塾大学 湘南藤沢キャンパス (SFC) - @keio_univ_pr in 藤沢市, 神奈川県 w/ @i315 @shug148 @ridingjln https://t.co/fdM8XOQaXi"
ID: 739613558896496640
text: "一限さん御断り (@ 慶應義塾大学 湘南藤沢キャンパス (SFC) - @keio_univ_pr in 藤沢市, 神奈川県 w/ @i315) https://t.co/AZsbwDHhv0"
ID: 739610416582627328
text: "人生辛い (@ 慶應義塾大学 湘南藤沢キャンパス (SFC) - @keio_univ_pr in 藤沢市, 神奈川県) https://t.co/LEdWOZuRBE"
ID: 739610302732500993
text: "ミッションコンプリート (@ 慶應義塾大学 湘南藤沢キャンパス 自転車専用駐輪場 - @keio_univ_pr in 藤沢市) https://t.co/cRyWzYtMzH"
ID: 739605412329181184
text: "I'm at 慶應義塾大学 湘南藤沢キャンパス (SFC) - @keio_univ_pr in 藤沢市, 神奈川県 https://t.co/ALNxptlDco"
ID: 739553952111296516
text: "慶應義塾大学湘南藤沢キャンパス
第27回七夕祭
開催まであと26日!!!!
開催日時=7・2(土)
会場=
慶應義塾大学湘南藤沢キャンパス
コンセプト「八夕祭」
https://t.co/A640xKPs3C
#学園祭 #文化祭 #大学祭
#七夕祭 #慶應義塾大学 #SFC"
ID: 739504570263429122
text: "OUTSIDERSは慶應大学湘南藤沢キャンパスのアメリカンフットボールサークルです！
OUTSIDERSは週２回、SFCグラウンドで練習しています。
＜水曜日15：00～18：00、土曜日10：00～13：00＞"
ID: 739493495384117248
text: "えすえふしー【SFC】
①慶應義塾大学湘南藤沢キャンパスの略称。総合政策学部、環境情報学部、看護医療学部がある。３学部とも入学から卒業まで基本SFCなのでもはや別の大学。 ②一貫教育校のひとつ、慶應義塾湘南藤沢中・高等部のこと。上半身だけ私服可という中途半端な校則があるらしい。"
ID: 739462596500164608
text: "あっSFCって湘南藤沢キャンパスの略だったのw"
ID: 739458510027513856
text: "@v0713v いや！別に悪いことというかなんかビリギャルってそんなにすごいことなの？→科目数すくない私立に絞ればいけるよ→慶應SFCの湘南藤沢キャンパス→てか元々中学受験してた子のスイッチ切り替えればいいんだよ、みたいな！！！"
ID: 739457482964099073
text: "RT @Lemoned_izm: 慶應の湘南藤沢キャンパスって英語と小論で決まるらしいからビリギャルって全然感動しないのか(見てないけど
それ知ってしまったら今から見ても「どうせ2科目でしょ」って思うてまうやろうな"
ID: 739455598396215296
text: "@kumyazou 慶応の湘南藤沢キャンパスです(･∀･)
いま、テレビで偏差値低くても条件さえ揃えば高学歴になれる的のやってて(･ω･)"
ID: 739455563524771843
text: "今日の初耳学はケンティーの隣にアリスちゃんがいたり慶応湘南藤沢キャンパスの話が出たりでソワソワしたーん"
ID: 739454284324995073
text: "RT @Lemoned_izm: 慶應の湘南藤沢キャンパスって英語と小論で決まるらしいからビリギャルって全然感動しないのか(見てないけど
それ知ってしまったら今から見ても「どうせ2科目でしょ」って思うてまうやろうな"
ID: 739453699282501632
text: "RT @Lemoned_izm: 慶應の湘南藤沢キャンパスって英語と小論で決まるらしいからビリギャルって全然感動しないのか(見てないけど
それ知ってしまったら今から見ても「どうせ2科目でしょ」って思うてまうやろうな"
In [3]: tweet = Api.GetSearch("湘南藤沢キャンパス exclude:retweets")
In [4]: for a in tweet:
print "ID: "+str(a.id)
print "text: \""+a.text+ "\""
...:
ID: 739627160470704128
text: "I'm at 慶應義塾大学 湘南藤沢キャンパス (SFC) - @keio_univ_pr in 藤沢市, 神奈川県 w/ @i315 @shug148 @ridingjln https://t.co/fdM8XOQaXi"
ID: 739613558896496640
text: "一限さん御断り (@ 慶應義塾大学 湘南藤沢キャンパス (SFC) - @keio_univ_pr in 藤沢市, 神奈川県 w/ @i315) https://t.co/AZsbwDHhv0"
ID: 739610416582627328
text: "人生辛い (@ 慶應義塾大学 湘南藤沢キャンパス (SFC) - @keio_univ_pr in 藤沢市, 神奈川県) https://t.co/LEdWOZuRBE"
ID: 739610302732500993
text: "ミッションコンプリート (@ 慶應義塾大学 湘南藤沢キャンパス 自転車専用駐輪場 - @keio_univ_pr in 藤沢市) https://t.co/cRyWzYtMzH"
ID: 739605412329181184
text: "I'm at 慶應義塾大学 湘南藤沢キャンパス (SFC) - @keio_univ_pr in 藤沢市, 神奈川県 https://t.co/ALNxptlDco"
ID: 739553952111296516
text: "慶應義塾大学湘南藤沢キャンパス
第27回七夕祭
開催まであと26日!!!!
開催日時=7・2(土)
会場=
慶應義塾大学湘南藤沢キャンパス
コンセプト「八夕祭」
https://t.co/A640xKPs3C
#学園祭 #文化祭 #大学祭
#七夕祭 #慶應義塾大学 #SFC"
ID: 739504570263429122
text: "OUTSIDERSは慶應大学湘南藤沢キャンパスのアメリカンフットボールサークルです！
OUTSIDERSは週２回、SFCグラウンドで練習しています。
＜水曜日15：00～18：00、土曜日10：00～13：00＞"
ID: 739493495384117248
text: "えすえふしー【SFC】
①慶應義塾大学湘南藤沢キャンパスの略称。総合政策学部、環境情報学部、看護医療学部がある。３学部とも入学から卒業まで基本SFCなのでもはや別の大学。 ②一貫教育校のひとつ、慶應義塾湘南藤沢中・高等部のこと。上半身だけ私服可という中途半端な校則があるらしい。"
ID: 739462596500164608
text: "あっSFCって湘南藤沢キャンパスの略だったのw"
ID: 739458510027513856
text: "@v0713v いや！別に悪いことというかなんかビリギャルってそんなにすごいことなの？→科目数すくない私立に絞ればいけるよ→慶應SFCの湘南藤沢キャンパス→てか元々中学受験してた子のスイッチ切り替えればいいんだよ、みたいな！！！"
ID: 739455598396215296
text: "@kumyazou 慶応の湘南藤沢キャンパスです(･∀･)
いま、テレビで偏差値低くても条件さえ揃えば高学歴になれる的のやってて(･ω･)"
ID: 739455563524771843
text: "今日の初耳学はケンティーの隣にアリスちゃんがいたり慶応湘南藤沢キャンパスの話が出たりでソワソワしたーん"
ID: 739453577412808705
text: "慶大のSFC(湘南藤沢キャンパス)って、セクゾン菊池風磨君が行っている所ですよね！？入試科目が2科目とはΣ(゜Д゜)"
ID: 739453521267826689
text: "慶應の湘南藤沢キャンパスって英語と小論で決まるらしいからビリギャルって全然感動しないのか(見てないけど
それ知ってしまったら今から見ても「どうせ2科目でしょ」って思うてまうやろうな"
ID: 739453027921199105
text: "☓ スーパーファミリーコンピュータ
◯ 湘南藤沢キャンパス"
そのままだと違うidで複数同じテキストで出てきてるものがあるが、exclude:retweetsをつけることで同じテキストで一回しか出てきていない。