環境

バージョン

$ python --version
Python 2.7.12 :: Continuum Analytics, Inc.
$ pip freeze | grep pandas
pandas==0.19.1

サンプルファイル

$ file --mime sample.tsv
sample.tsv: text/plain; charset=utf-8
$ cat sample.tsv
ID	言語
1	日本語
2	英語

codecs

まず codecs ですが

>>> open("sample.tsv", "r").read()
'ID\t\xe8\xa8\x80\xe8\xaa\x9e\n1\t\xe6\x97\xa5\xe6\x9c\xac\xe8\xaa\x9e\n2\t\xe8\x8b\xb1\xe8\xaa\x9e\n'
>>> import codecs
>>> codecs.open("sample.tsv", "r", "utf-8").read()
u'ID\t\u8a00\u8a9e\n1\t\u65e5\u672c\u8a9e\n2\t\u82f1\u8a9e\n'

codecs で読み込むと unicode にしてくれます。

pandas

tsv を読み込む時に便利な read_table 関数。

>>> import pandas as pd
>>> df = pd.read_table(open("sample.tsv", "r"))
>>> df
   ID   言語
0   1  日本語
1   2   英語
>>> df.columns
Index([u'ID', u'言語'], dtype='object')
>>> df[u"言語"]
Traceback (most recent call last):
  ...
KeyError: u'\u8a00\u8a9e'
>>> list(df.columns)
['ID', '\xe8\xa8\x80\xe8\xaa\x9e']
>>> type(list(df.columns)[1])
<type 'str'>
>>> df["言語"]
0    日本語
1     英語
Name: 言語, dtype: object

df.columns の表示に u が着いてるのはよくわかりませんが、
文字列の型が str なのは納得ですね。

codecs & pandas

with `read_table`

では　codecs を使って read_table で読み込むと

>>> df = pd.read_table(codecs.open("sample.tsv", "r", "utf-8"))
>>> df
   ID   言語
0   1  日本語
1   2   英語
>>> df[u"言語"]
Traceback (most recent call last):
  ...
KeyError: u'\u8a00\u8a9e'
>>> df["言語"]
0    日本語
1     英語
Name: 言語, dtype: object

なぜか str になるみたいです。

without `read_table`

>>> from collections import defaultdict
>>> data = defaultdict(list)
>>> f = codecs.open("sample.tsv", "r", "utf-8")
>>> labels = f.readline()[:-1].split("\t") # 改行以外をタブで分割
>>> values = f.readline()[:-1].split("\t") # 改行以外をタブで分割
>>> for label, value in zip(labels, values):
...     data[label].append(value)
... 
>>> df = pd.DataFrame(data)
>>> df
  ID   言語
0  1  日本語
>>> df["言語"]
Traceback (most recent call last):
  ...
KeyError: '\xe8\xa8\x80\xe8\xaa\x9e'
>>> df[u"言語"]
0    日本語
Name: 言語, dtype: object
>>> list(df.columns)
[u'ID', u'\u8a00\u8a9e']
>>> type(list(df.columns)[1])
<type 'unicode'>

read_table を使わずに
codecs で読み込んだ場合は、
想定通りでした。