M12i.

学術書・マンガ・アニメ・映画の消費活動とプログラミングについて

Pentaho

"KETTLE_SHARED_OBJECTS"を巡る謎、もしくは不満

以前のポストで、PentahoでDB接続情報を複数ジョブ/データ変換で共有化かつパラメータ化する方法について述べました。この方法は3つの要素からなります:①.kettleディレクトリ──環境変数もしくはシステム・プロパティKETTLE_HOMEで指し示されたディレクトリ…

PentahoのGet data from XMLステップでツリーをリレーションに分解

直近の関心事項として「あるアプリケーションのREST APIからGETしたリソース(JSON形式であれXML形式であれ)のツリー構造を、いったんRDBMSのリレーションに分解し、その状態でDWHに格納したり、また別のアプリケーションにREST APIでPOST/PUTしたい」とい…

PentahoのREST Clientデータ変換ステップでGET

PentahoのREST Clientデータ変換ステップでREST APIに対してGETリクエストを行うための設定メモ。 おそらくサーバ側の問題だが、動作確認のために用意したSpring BootのRestControllerとやり取りするにはHTTPリクエスト・ヘッダーの設定が必要だった。まずデ…

PentahoでOracle JDBC 10.2.xのバグに遭遇

仕事で面倒を見ているシステムにPentaho Data Integration(PDI)を使用したバッチ処理があるのですが、先週木曜日その処理がハングする事象が置き、きょう月曜日には本来処理されるべきデータが大量に処理対象漏れを起こすという事象が続いて起きました。事…

Pentahoでジョブ内のデータ変換にパラメータを渡し行に直す

今回はPentaho Data Integration(Kettle)のジョブ(Job)内で実行しているデータ変換(Transformation)に対してパラメータを渡し、データ変換内で行(Row)に直して利用する方法についてのメモ。前々回の記事で触れたとおり「パラメータ」と「変数」は同…

PDIユーザーガイドから「用語法と基本概念」

Pentaho Data Integration(PDI)はネット上のHow to情報もデスクトップ・アプリケーションのUIラベルも用語法がブレブレで非常に厄介です。そういうわけでいい加減に公式リファレンスで基礎を確認しておいたほうがいいなと思い、PDIユーザーガイドの「用語…

Pentahoのデータに関するターミノロジー

Pentaho Data Integration(Kettle)を使っていろいろ試すうちに、「パラメータ」「変数」「環境変数」「ストリーム」「行(Rows)」「行(Row)」「列(Field)」といった用語法がなんとなくわかってきました。まず「パラメータ」と「変数」と「環境変数」…

PentahoでHTMLメールを送る

今回はPentahoのジョブでHTMLメールを送信する方法についてメモです。ターミノロジーがいまだに理解できていないことに起因する躓きがいろいろありました。 はじめに まず、いくつか重要な点: ジョブ・エントリーとしての「メール」と変換(Transformation…

Pentahoの.ktrから.prptへデータを渡したいのだけど・・・

さて、例によってPentaho回りを調べているのですが、今回は.prptファイルまわりのところです。.prptファイルはPentaho BIフレームワークにおける帳票定義ファイルで、Pentaho Report Designerでもってデータソースとデザインを設定してつくります*1。Spoonも…

shared.xmlのDB接続情報と.kjbファイルのDB接続情報

きょうはshared.xmlについてのメモです。先日のポストで、Spoon(開発および手動実行ツール)やKitchen(バッチ実行ツール)を起動する際、環境変数KETTLE_HOMEに.kettleディレクトリの親ディレクトリを指定することで、任意のkettle.propertiesやshared.xml…

Pentahoで添付ファイル付きメールを送信する

いまだにPentahoに慣れずあれこれ試行錯誤しているのですが、きょう一日仕事やなんかの合間を縫って調べていたのは、添付ファイル付きメールを送信する方法です。バッチ処理の結果を記録したファイルやログファイルなど、何かしらの情報をメールで送りたいと…

Pentaho SpoonでH2データベース接続を追加する

一度分かってしまえば大したことではないのですが、そこに至るまでに時間を要してしまったので、ここにメモしておきます。H2データベースはJavaで実装された組み込み用途向けのデータベースです*1。このH2を利用することで、過去に変換(Transformation)を…

PentahoでDB接続情報を共有する/DB接続情報をパラメータ化する

タイトルにあげた「DB接続情報を共有する」「DB接続情報をパラメータ化する」というのは、いずれもこちらのブログ記事に記載されていることなのですが、左記の記事では2つのことをいっぺんに述べようとしているせいかどうもそのメリットが伝わってきません。…

PentahoのSpoonを起動してTransformationを編集する

仕事でメンテしているシステムのなかで、かなり限られたかたちではあるもののPentahoが利用されている箇所があり、どうせならもっと活用していきたいということで、ちょっと触ってみました*1。 バイナリを入手する Pentahoは有償版と無償版があり、後者はコ…