KNIMEメモ：Python Script (Labs) ノードが速い

KNIME 4.5 で登場した Python Script (Labs) ノードが速い。

#Python is now just as fast in #KNIME as it is anywhere else. The latest #KNIMERelease features a huge performance boost for Python in KNIME. Get more details at https://t.co/mHMW0nswKe #datascience pic.twitter.com/ogD0t370TZ

— KNIME (@knime) 2021年12月7日

従来の Python Script ノードは入力テーブルの行数が10万超えた辺りでかなり遅くなっていたのだが、劇的に改善したらしい。テーブルを入力してそのまま出力するだけの処理でベンチマークしてみた。5万行超えた辺りから明らかな性能差がみられる。

Python Script ノードの新旧ベンチマーク

1000万行まで処理してみたが、10秒程度で終わった。

2000行以下の処理が若干遅いのは Python カーネルの呼び出しタイミングの影響なので、気になる人は Preferences の値を変更してみると良いかも。

Python カーネルの呼び出し周り変えたい人用設定

まとめ

Python Script (Labs) ノードが速い。