VirtualBoxでDPDKを動かす

なかなか実機ではテストするのがめんどくさいので、VirtualBoxでDPDKのサンプルをビルドして動かすところまでやってみます。

仮想マシンの作成

VirtualBoxで仮想マシンを作成する、この時注意することがいくつかあります。

• CPUは2コア以上にする
• メモリは4GB以上にする
• NICは3つ用意する
  • 1杖のNICはインターネット接続用、デフォルトのままでOK
  • 2,3枚目のNICはDPDK動かす用、詳細から種類として Intel PRO/1000 MT Server (82545EM) を選択すること

OSインストール

Ubuntu Server 16.04を普通にISOからインストールします。

aptで開発環境として必要そうなものをインストールしておきます。

sudo apt-get install build-essential

DPDKのインストール

aptではいるらしい。

sudo apt-get install dpdk dpdk-dev dpdk-doc libdpdk-dev

各種設定

HUGEPAGE

編集して、

/etc/default/grub

GRUB_CMDLINE_LINUX="hugepages=1024"

反映。

sudo grub-mkconfig -o /boot/grub/grub.cfg

fstabも編集して、

/etc/fstab

nodev /mnt/huge hugetlbfs defaults 0 0

ディレクトリ作成して再起動。

sudo mkdir /mnt/huge
sudo reboot

DPDKで使うNICの設定

DPDKとNICのバインドはスクリプト /usr/share/dpdk/tools/dpdk_nic_bind.py で行います。

まず、現在の設定を確認しましょう。

sudo insmod /lib/modules/4.4.0-31-generic/kernel/drivers/uio/uio_pci_generic.ko
/usr/share/dpdk/tools/dpdk_nic_bind.py --status

output

Network devices using DPDK-compatible driver
============================================
<none>

Network devices using kernel driver
===================================
0000:00:03.0 'Virtio network device' if= drv=virtio-pci unused= 
0000:00:08.0 '82545EM Gigabit Ethernet Controller (Copper)' if=enp0s8 drv=e1000 unused=uio_pci_generic 
0000:00:09.0 '82545EM Gigabit Ethernet Controller (Copper)' if=enp0s9 drv=e1000 unused=uio_pci_generic 

Other network devices
=====================
<none>

まだ何も設定されていないことがわかります。
そこで、2つのIntel NICをDPDKにバインドしてみましょう。

/usr/share/dpdk/tools/dpdk_nic_bind.py --bind=uio_pci_generic 0000:00:08.0
/usr/share/dpdk/tools/dpdk_nic_bind.py --bind=uio_pci_generic 0000:00:09.0

もう一度状態を確認すると、DPDKにバインドされてることがわかります。

/usr/share/dpdk/tools/dpdk_nic_bind.py --status

output

Network devices using DPDK-compatible driver
============================================
0000:00:08.0 '82545EM Gigabit Ethernet Controller (Copper)' drv=uio_pci_generic unused=e1000
0000:00:09.0 '82545EM Gigabit Ethernet Controller (Copper)' drv=uio_pci_generic unused=e1000

Network devices using kernel driver
===================================
0000:00:03.0 'Virtio network device' if= drv=virtio-pci unused=uio_pci_generic 

Other network devices
=====================
<none>

インターフェースの永続化

設定を永続化するには、ファイルに記載しておきます。

/etc/dpdk/interfaces

pci 0000:00:08.0 uio_pci_generic
pci 0000:00:09.0 uio_pci_generic

サンプルファイルのビルド

cp -R /usr/share/dpdk/examples ~/dpdk-examples
cd ~/dpdk-examples/helloworld/
source /usr/share/dpdk/dpdk-sdk-env.sh
make

output

  CC main.o
  LD helloworld
/usr/bin/ld: -lpcap が見つかりません
/usr/bin/ld: -lxenstore が見つかりません
collect2: error: ld returned 1 exit status
/usr/share/dpdk//mk/rte.app.mk:221: ターゲット 'helloworld' のレシピで失敗しました
make[1]: *** [helloworld] エラー 1
/usr/share/dpdk//mk/rte.extapp.mk:42: ターゲット 'all' のレシピで失敗しました
make: *** [all] エラー 2

パッケージが足りないようなのでインストールしてやり直します。

sudo apt-get install libpcap-dev libxen-dev 
make

今度は通りました。

実行してみます。root権限が必要です。

sudo ./build/helloworld 

output(抜粋)

EAL: PCI device 0000:00:03.0 on NUMA socket -1
EAL:   probe driver: 1af4:1000 rte_virtio_pmd
PMD: device not available for DPDK (in use by kernel)
EAL: Error - exiting with code: 1
  Cause: Requested device 0000:00:03.0 cannot be used

あれ？動かない...掴んで欲しくないNICをつかもうとしてます。

コマンドライン引数で、ブラックリストを指定できるという情報を得たので、再チャレンジ。

sudo ./build/helloworld -b 0000:00:03.0

output(抜粋)

EAL: Master lcore 0 is ready (tid=177968c0;cpuset=[0])
EAL: lcore 1 is ready (tid=937fe700;cpuset=[1])
EAL: PCI device 0000:00:03.0 on NUMA socket -1
EAL:   probe driver: 1af4:1000 rte_virtio_pmd
EAL:   Device is blacklisted, not initializing
EAL: PCI device 0000:00:08.0 on NUMA socket -1
EAL:   probe driver: 8086:100f rte_em_pmd
EAL:   PCI memory mapped at 0x7f5114c00000
PMD: eth_em_dev_init(): port_id 0 vendorID=0x8086 deviceID=0x100f
EAL: PCI device 0000:00:09.0 on NUMA socket -1
EAL:   probe driver: 8086:100f rte_em_pmd
EAL:   PCI memory mapped at 0x7f5114c20000
PMD: eth_em_dev_init(): port_id 1 vendorID=0x8086 deviceID=0x100f
hello from core 1
hello from core 0

今度はNIC2つを掴んで成功です！

コマンドライン引数の正体

helloworld/main.c ではコマンドライン引数の処理をしてないように見えますが、

    ret = rte_eal_init(argc, argv);

ここで、EALを初期化するときにコマンドラインオプションが色々渡せるようになっています。

渡せるオプションはたくさんあって、DPDKのドキュメントにも載っていました。
http://dpdk.org/doc/guides/testpmd_app_ug/run_app.html