KNIME と macOS 10.13 High Sierra について 【追記あり】
最近、KNIME を起動するとトップ画面に以下のような警告が表示されます。
どうも KNIME ユーザは macOS 10.13 High Sierra にアップグレードしないほうがいいようです。 Apple に問題を報告していると書かれているため、macOS 側に原因あると考えられます。(known issues のリンク先には High Sierra の不具合が多数紹介されています。)
High Sierra にアップグレードしてしまった!!!という人は Apple が修正アップデートを早く出してくれるように祈りましょう。。。
とは言っても、一体どんな問題が発生しているのか?不安な人がいるかもしれないので、警告が表示されるきっかけとなった KNIME Community Forum のやりとりを紹介します。
- 投稿者が 「XLS reader の出力ポートからデータが読み取れない」旨の不具合を報告する。 - 10/2
- コミュニティの2名が検証を行い、ファイルの行数が多い場合に不具合が再現することを突き止める。 - 10/3
- KNIMEの達人が High Sierra の zip standard/API が壊れていることが原因だと結論づける。Appleにバグレポートを送る模様。 - 10/5
- さらに Table reader/writer でも同じ不具合が発生することが報告される。 - 10/10
- Apple に バグレポートしたけど音沙汰なし。。。 - 10/11
- Sierra ユーザに伝えたほうがいいよね。。。 - 10/11
- KNIMEのトップ画面に警告を表示することに - 10/12
のような経緯となっています。
この不具合は High Sierra に組み込まれた zlib ライブラリが原因で、zlib ライブラリの修正は終わっているようです。あとはApple の対処を待つのみ。。。
まとめ
macOS で KNIME を使いたい人は High Sierra へのアップグレードは控えましょう。(2017.10.18 時点)
追記(2017.11.15)
KNIME 3.4.2 がリリースされました。更新履歴を見てみると
Bug Fixes:
AP-8083: Issues with newest Mac OS X version (High Sierra) -- data corruption
ということで、High Sierra 問題が解消されたようです。macOS 10.13 High Sierra にしてしまった人は早速 バージョン 3.4.2 にアップグレードしましょう。
KNIME Analytics Platform 3.4 がリリースされたようです
The new #KNIME is out! What is new: https://t.co/b4zLWHQSVu Download: https://t.co/eya6aTug29 #datascience #datablending #bigdata
— KNIME (@knime) 2017年7月12日
個人的にお気に入りのソフトウェア「KNIME」の最新バージョン 3.4 がリリースされました。早速新機能をチェックしてみましょう。
New Date & Time integration
日時データタイプのノードを全面改訂し、時間差分やタイムゾーンの計算がしやすくなりました。
Integration with the H2O machine learning library
H2Oのノードが登場しました。機械学習とスコアリングの機能が利用できます。
KNIME Personal Productivity now part of KNIME Analytics Platform
「KNIME Personal Productivity」が KNIME の標準機能になりました。
- メタノードのテンプレート化
- ワークフローから他のワークフローを実行
- Workflow Coach のバージョンを指定
- Worklfow 同士の差分取得
が利用可能となっています。
Wrapped metanode composite view
JavaScript Views と Quickforms をラップノードにすることで動的な分析が可能となります。いろいろ組み合わせて Chromeブラウザで表示してみましょう。
A new version of the Python integration
新しい Python実行用ノードです。Python3 にも対応しています。
Logistic Regression nodes are more scalable, faster, and support regularization
Logistic Regression Learner が全面的に改訂されました。
- SAG ソルバーによる高速化
- 正則化
- 係数ついての詳細な統計テーブルの出力
が利用可能となっています。
Audio and speech recognition nodes
音声ファイルを扱うノードが登場しました。いろいろな音声認識、特徴抽出の機能が利用できます。
JavaScript Views
新たに3つの Views が追加されました。
- Network viewer
- Sunburst chart
- Stream Graph/Stacked Area chart
New Cloud Connectors
Amazon Web Services 向けのコネクターが2つ追加されました。
商用版の機能については割愛します。
まとめ
JavaScript Views による動的な分析機能の強化が印象的なリリースとなりました。
また、ロジスティック回帰、日時データタイプ、Python実行ノード の再実装など、既存ノードの改訂にも積極的なようです。
各機能の詳細については、(時間があれば)別記事で取り上げたいと思います。
KNIME 3.3.2 と KNIME Personal Productivity の話
KNIME 3.3.2 について
KNIME 3.3 のアップデートがリリースされたようです。大きな機能変更はありませんが、Rest ノード や Excel Reader がアップデートされています。
#KNIME Analytics Platform version 3.3.2 is out! https://t.co/cG1c10GVBD #datascience #datablending #bigdata #data
— KNIME (@knime) 2017年4月11日
バグ修正も含まれており、KNIME 3.3.1 までは プロキシ環境下では Workflow Coach が使用できなかったのですが、今回のリリースで修正されています。
KNIME Personal Productivity について
KNIME 3.3.2 の新機能ではありませんが、商用版でのみ利用可能だった KNIME Personal Productivity が無償で使えるようになったようです。*1
どのような機能かチェックしてみます。
- Metanode Linking
作成したメタノードを保存、他のワークフローで利用できるようになります。 - Local Automation
ワークフロー中でローカルに保存した他のワークフローを実行できます。ワークフローを連携する、といった使い方ができそうです。 - Workflow Difference
ワークフロー同士の比較、ノードの設定値の比較ができます。
複数人でワークフローをやりとりするときに便利そうです。
まとめ
KNIME 3.3.2 と KNIME Personal Productivity の概要を見てみました。後者はワークフローをみんなで使うときの助けになりそうです。
*1:KNIME Spring Summit 2017 の発表スライド参照。どのスライドかは忘れました。
KNIME Analytics Platform 3.3 について
#KNIME #Analytics Platform 3.3 has been released! https://t.co/rz6N24N3DX #datascience #datablending #bigdata #server #machinelearning
— KNIME (@knime) 2016年12月12日
個人的にお気に入りのソフトウェア「KNIME」の最新バージョン 3.3 がリリースされたようなので、新機能をチェックしてみることにしました。
Curved connections in workflow editor
ノードをつなぐ線が曲線になりました。KNIME 3.2 以前のバージョンで作成したワークフローは直線で表示されますが、ツールバーの設定で曲線に変更できます。
Excel Integration Reworked
Excel 関連ノードのアップデートにより、何十万行も何千もの列からなる巨大な Excel ファイルが処理できるようになりました。
Upgrade to Eclipse 4.6
最新の Eclipse Neon 4.6 ベースになりました。
New Variable Manipulation Nodes
String Manipulation ノードと Math Formula ノードが変数ノードとして利用できるようになりました。
Improvements to the Text Mining Extensions
Apache Tika Integration
Tika ノードがリリースされました。様々なファイル形式(.pdf、.doc、.ppt、.txt、zip、gt など)の読み込みや解析が可能です。
Stanford NER (Named Entity Recognizer) Learner and Stanford NE Tagger nodes
固有表現(Named Entity)を扱うためのノードがリリースされました。ドキュメントと固有表現のセット用いてモデルを作成し、Stanford NE Tagger ノードでタグ付けします。作成したモデルは Scorer ノードで評価することもできます。
Improvements to DeepLearning4J Integration
ディープラーニング関連ノードをリファクタリングし、クラス分類・クラスタリング・回帰など用途ごとにノードをリリースしました。また、すべての Leaner ノードのユーザーインターフェースがより理解しやすく改良されています。
New Cloud Connectors
Amazon S3 や Azure Blob Store に接続するためのノードがリリースされました。
個人の感想
ドキュメント読み込み・解析周りの大幅アップデートが印象的なリリースとなりました。たまってきた電子データを扱うニーズが増えているのかもしれません。また、ディープラーニング関連ノードの開発も依然活発なようで、このまま勢いを維持していってほしいものです。
KNIME 3.2 の新機能を試す (1) - Workflow Coach
Workflow Coach はワークフロー作成時に次に配置する候補となるノードを表示してくれます。どのような機能なのか実際に試してみます。
ノードを全く配置していないとどうなる?
ワークフローにノードを全く配置していない状態でのノードの候補を見てみます。Communityの欄に表示されている数字は、KNIMEコミュニティの利用統計からはじき出された値のようです。
データ入力系のノードが表示されています。データ処理はファイルの読み込みからということで、File Reader で iris.csv データを読み込みます。
File Reader ノードの次はどうなる?
File Readerノードを選択した状態でノードの候補を見てみます。
データの分割、結合、フィルタリングなどデータ操作系のノードが表示されています。k-Meansでクラスタリングする人も多いようです。次に Partitioning ノードを使ってデータを2分割してみます。
Partitioning ノードの次はどうなる?
Partitioningノードを選択した状態でノードの候補を見てみます。
Decision Tree や Naive Bayes といったデータマイニング系のノードが表示されています。データを分割しただけなのですが… 次に Decision Tree Learnerノードを使ってモデルを作成してみます。
Decision Tree Learnerノードの次はどうなる?
Decision Tree Learnerノードを選択した状態でノードの候補を見てみます。
Decision Tree Predictor が圧倒的です。モデルを作ったなら使えということでしょう。先ほど Partitioning ノードで分割したデータに対して Decision Tree Predictor で予測してみます。
Decision Tree Predictorノードの次はどうなる?
Decision Tree Predictorノードを選択した状態でノードの候補を見てみます。
Scorer や ROC Curve など予測モデル評価系のノードが表示されています。作ったモデルを評価せよということで、Scorer ノードを使ってモデルを評価してみます。
Scorerノードの次はどうなる?
Scorer ノードを選択した状態でノードの候補を見てみます。
ROC Curve ノードが第1候補となっていますが、今回のワークフローではScorerノードのデータを ROC Curveノードで処理できませんでした。(これ以上続かなくてよかった…)
まとめ
KNIME 3.2 の新機能 Workflow Coach の第1候補のノードを繋げていくと、Decision Treeのモデル作成と評価のワークフローに導かれるようです。
使っているうちに自分の知らないノードを発見できたり、意外なノードが候補に出てきたりして結構面白いですし、ノードを探す作業効率も上がりそうです。
KNIME Analytics Platform 3.2 について
#KNIME #Analytics Platform 3.2 has been released!
— KNIME (@knime) 2016年7月8日
Learn what is new from https://t.co/1c7zQZdB3k #datascience #opensource #ETL #data
個人的にお気に入りのソフトウェア「KNIME」の最新バージョン 3.2 がリリースされたようなので、新機能をチェックしてみることにしました。
UI and Workbench
KNIME File Extension
KNIME専用の拡張子が登場しました。ワークフローは*.knwf、ワークフローグループは*.knarとなります。これらの拡張子をもつファイルをダブルクリックすると、KNIME Analytics Platform が起動します。また、KNIME Explorerにドラッグ&ドロップするとワークフローがインポートできます。
Missing Node installation
開いたワークフローに自分が保有していないノードが含まれていた場合、すぐにダウンロードサイトからノードを取得できるようになりました。
続きを読む