オープンソースBIのPentaho（ペンタホ）ブログでタグ「PDI」が付けられているもの

S3 Csv InputステップをDIサーバーでリモート実行する際に以下の様なエラーが発生する場合があります。

<<<
org.pentaho.di.core.exception.KettleMissingPluginsException:
Missing plugins found while loading a transformation

Step : S3CSVINPUT
>>>

これはS3 Csv Inputのプラグインが無いというエラーになりますので、
以下のディレクトリにS3CsvInputが存在するか確認し、
server/data-integration-server/pentaho-solutions/system/kettle/plugins/steps/

無い場合は、DIサーバーを停止し、以下のディレクトリをコピーしてDIサーバーを再起動していただけますでしょうか。
design-tools/data-integration/plugins/steps/S3CsvInput

★Have a nice open source day★

KSK Analytics Pentaho Team

DWH/BI/BAプロジェクトにおいて8割以上の工数を占めるといわれるデータ統合プ

ロセス。この中でもプロファイリングとクレンジング（クリーニング）は重要な要素です。

世界で最も注目されるデータサイエンティストの著書"シグナル＆ノイズ"もタイトルがまさにこの部分に当たります。

プロファイリングはデータの属性を調査し、非一貫性、冗長性、不正確さ等を修正します。

クレンジングはデータをきれいにする作業で、名寄せ（重複データを１つにまとめる）を含みます。

PentahoではMarketPlaceのアドインでHumanInterface社の提供するプロファイリング/クレンジングステップが利用可能になっています。

SIer様ならばこれまでのプロジェクトで実施してきた業界業種別のクレンジング

既存資産も多くあるはずです。

それらをPentahoのアドインにすることで、グローバルにビジネス展開できるかもしれません。

★Have a nice add-in on Pentaho★

KSK Analytics

Pentaho Team

BigDataは昨年から今年にかけてIT業界でホットなキーワードになっており、セミナー等も活発ですが、PentahoはBigDataにいち早く対応し、相性がよいBI製品となっています。

画像はPentahoDataIntegrator4.3.0(Developer Preview版)です。

話題のBigData製品である、Cassandra,HBase,MongoDBへのInput/Outputインターフェースが実装されているのがわかります。

これはアーキテクチャが新しいオープンソースだからできる対応スピードであり、トラディショナルでプロプライエタリなBI製品とは大きな差があります。
オープンで誰もが自由に使え改良できるため、世界中のDB/BI開発エンジニアが続々と対応していくのです。

弊社でもお客様のご要望で国産RDBMSへの接続を実装しようとしているところです。

より多くの皆さんとPentahoでBI活用を広めていけたらと思います。
★Have a nice open source BI★
KSK Solutions Pentaho Team

以下の画像では、「行生成」→「選択/名前変更」→「文字列置換」を行っておりますが、「文字列置換」で使用する文字列を「選択/名前変更」にて除去しています。そして、このデータ変換を、そのまま実行しているためエラーが発生しています。

大量データの使用などにより、比較的時間のかかるデータ変換処理の実行時に、このようなエラーが最後のほうで発生するととても残念な気持ちになると思います。

これを防ぐための方法の一つが、「確認ボタン」です。

データ変換処理の実行前にひと押しすると、わかる範囲でエラーを表示してくれます。

※データに起因するようなエラーなどは判別できないので、その点は注意が必要です。

「確認ボタン」を押してみましょう。

赤い○で囲まれたアイコンが「確認ボタン」です。

ボタンを押してみると、左のボックスのようにエラーが表示されるので、メッセージを参照しつつ、修正します。(ここでは、"name"を除去しないようにしました)

修正後にもう一度ボタンを押すと、こんどは右のボックスのようにエラーが表示されなくなります。この状態で実行した結果が、左右のボックスの後ろの画像です。正常に終了しているのが確認できると思います。

実行前にひと押しするだけの気軽な機能ですので、ぜひお試しください。

★Have a nice ETL Tool★
KSK ソリューションズ　Pentahoチーム

本検証内容はPentahoデータ統合プロジェクトのチーフアーキテクトのMatt Casters 氏からの発表を元に、SASデータセットファイル（*.sas7bdat形式）の読み込み機能がETL処理の一部として実行可能であるとの内容となっております。

参照元URL：

※SAS Institute社

本検証では以下のデータセットを利用させて頂きました。

データセット名：

candyinfo.sas7bdat

データセット取得元URL：

検証内容：

sas7bdat形式データのフィールドを取得

データ内容を参照

弊社は皆様のビジネスの役に立つようにビジネスインテリジェンスだけではなく、DWH、ビジネスアナリティックスにも力をれておりますが、米Pentaho社もまたBAに対して本格的に取り組みを行っていくと言う姿勢が伺えるかと思います。

弊社では、ビジネスインテリジェンスおよびDWH、ビジネスアナリティックスと言う、戦略系ソリューションをワンストップでご提供させて頂いております。

戦略系システムの整備の必要がある、または戦略系システムの必要性を感じていられる

ご担当者様は一度、こちらから弊社までご相談下さい。

☆Have a strong data integration ☆

KSKソリューションズ

(2011年10月 3日 19:37) | 個別ページ

本ブログではJDBC Kettle プロジェクトのご紹介を行いたく思います。

JDBC Kettle プロジェクト

http://code.google.com/p/jdbckettle/

lucidDBを提供しているDynamoBI社※のCEOであるNicholas Goodman氏を中心に

PDIのチーフアーキテクトであるMatt Casters氏も参加しているプロジェクトになります。

※DynamoBI社

本プロジェクトの特徴は、PDI（Pentahoデータ変換）にて定義したETL処理ロジックから

データの取得を行えるものでPentahoレポートデザイナ等でも使用されています。

今回は、実際に本プロジェクトの成果物を利用し以下の検証を行いました。

■ETL処理ロジック定義を定義

定義内容：

1．CSVファイルの読み込み（元データ）

2．時系列順で並び替え

3．HDFSよりCSVファイルの読み込み（追加データ）

4．年をIDとしてストリームの結合

5．MongoDBよりデータ取得

6．取得データの解析（JSONオブジェクト→ストリーム）

7．年をIDとしてストリームの結合

8．データ出力

・定義内容

・データプレビュ

■上記定義内容からJDBCドライバ経由にてデータを取得

・PDI定義体への接続設定

・定義体よりスキーマオブジェクトの一覧を取得

・データプレビュ

上記の様に、異なるアプリケーションのデータ統合を定義し他のデータベースベンダ様が提供されているJDBCドライバをご利用になった時と同様にクエリ構文形式でデータ取得を行う事が可能となります。

社内の開発担当部署の方々へのご説明を行うプロジェクト責任者様は、

社内でのコンセンサスを得やすくされる為に、PentahoをBIとしてのみ利用する事に加味し、

システム開発の上でも工数削減を行える事を訴求されるのも一つのアプローチかと思います。

また弊社へご相談いただけますと、社内へのご提案を含めたご支援が可能ですので、

ご興味を抱いて頂いたご担当者様はこちらよりお問い合わせください。

☆Have a nice business implementation ☆

Pentahoチーム

皆様のBIシステムは現在クラウド対応を視野に入れていますでしょうか？
クラウドは現在のIT業界で最も注目されているキーワードといっても過言
ではないでしょう。

その中でもIaaSとしてのAmazon EC2/S3とSaaSとしてのSalesforce.comは
最も知名度が高く、利用しやすいと思います。

PentahoではData Integration(ETL)で既にこれらに対応しています。

以下の画面例ではAmazon S3からデータを入力し、SalesForceに出力する
インターフェースを表示しています。

他社ETL製品では、コネクタやアダプタとも呼ばれ別途有償（数十万円から
100万円以上）の場合も多いこれらのインターフェースですが、いち早く
対応して追加費用も必要ないのがPentahoの特徴です。

御社のクラウド戦略に低コストで対応できる可能性がありますので、
ご関心があればぜひお問い合わせ下さい。

★Have a nice Cloud System★
KSKソリューションズ　Pentahoチーム

オープンソースBIのPentaho（ペンタホ）ブログでタグ「PDI」が付けられているもの

タグ:

タグ:

タグ:

タグ:

タグ: