エラー内容

set terminal aqua enhanced title "Figure 1"  font "*,6" dashlength 1
                      ^
         line 0: unknown or ambiguous terminal type; type just 'set terminal' for a list

gnuplot を使用するターミナルを設定する必要がある。

試しに gnuplot を実行してみる

$ cd /usr/local/octave/3.8.0/bin # gnuplot がある階層
$ ./gnuplot

G N U P L O T
	Version 4.6 patchlevel 4    last modified 2013-10-06 
	Build System: Darwin x86_64

	Copyright (C) 1986-1993, 1998, 2004, 2007-2013
	Thomas Williams, Colin Kelley and many others

	gnuplot home:     http://www.gnuplot.info
	faq, bugs, etc:   type "help FAQ"
	immediate help:   type "help"  (plot window: hit 'h')

Terminal type set to 'qt'

GNUTERM環境変数を「qt」にする必要がある。

対処方法

% vi ~/.octaverc

setenv("GNUTERM", "qt")

参考記事

https://stackoverflow.com/questions/22898609/octave-does-not-plot