標準コンポーネントとカスタムコンポーネントについて
TalendOpenStudio に標準で組み込まれているコンポーネントは、Talendにより検証されており、使用するには十分な機能を持っています。
Talendのコミュニティ「Talend Exchange」では、
標準のコンポーネントでは、機能不足であったり、独自にカスタマイズや、新規開発されたコンポーネントが公開されています。
Talendによる検証はされていませんが、世界中の開発者によって検索され利用されたコンポーネントは評価、フィードバックを受けて改良が加えられていきます。
今回は、「Talend Exchange」から興味を持ったコンポーネント「tWebCrawler」をインストールしてみます。
参考
Talend Exchangeからコミュニティコンポーネントをインストールする
カスタムコンポーネントのインストール
Talend Open Studioのツールバーの[Exchange]リンクをクリックし、コンポーネント「tWebCrawler」を選択します。
「Install」ボタンをクリックします。
インストールされるとInstalled になるとHelpに書いてありましたが、特に変わりませんでした。
試しにジョブを作成してみたところ、コンポーネントの選択肢に「tWebCrawler」が出てきました。
試しに私の別の記事をCrawling してみました。
検索キーワード「title」
tLogRowで結果を表示してみます。
表示を少し絞ってみます。
実行してみました。
手軽にCrawlingできました。
下記の様な設定もできるようです。
まとめ
標準コンポーネントでも、同様なことはできると思いますが、
手軽にCrawling できそうです。
Talend7.1 に対応したコンポーネントは、まだ少ないですが
これから、既存のコンポーネントが徐々に追加されていくと思われます。
気に入ったコンポーネントがあったら、また紹介しようと思います。
自分でも、作ってアップロードしてみたいですね。