okpy

Pythonエンジニア兼テックリーダーが、多くのプロジェクトとチーム運営から得た実践的な知識を共有するブログです。

大量のデータ処理、まだPandasだけで苦労していませんか？ Apache DataFusionで次元の違うスピードを体験しよう！

lib python

大量のデータ処理、まだPandasだけで苦労していませんか？ Apache DataFusionで次元の違うスピードを体験しよう！

📝 TL;DR (3行要約)

  1. Apache DataFusionは、Rust製の超高速クエリエンジンをPythonから自在に操れる革新的なライブラリです。
  2. メモリ効率が極めて高く、Pandasではメモリ不足で止まってしまうような巨大なデータセットも軽々と処理します。
  3. SQLとDataFrame APIの両方をサポートしており、初心者でも既存の知識を活かして爆速なデータ基盤を構築できます。

1. 🤔 一体DataFusionとは何？（核心的な役割と主な使用例）

核心的な役割：Pythonという「操作席」からRustという「ロケットエンジン」を点火する

Pythonを学び始めたばかりの皆さんは、データの処理といえば「Pandas（パンダス）」を思い浮かべるかもしれません。Pandasは非常に便利で多機能ですが、扱うデータが数GB、数TBと大きくなってくると、動作が重くなったり、最悪の場合はパソコンのメモリを使い果たしてエラーで止まってしまったりすることがあります。

ここで登場するのが Apache DataFusion です。

比喩で説明するなら、Pandasが「多機能で使いやすい家庭用乗用車」だとすれば、DataFusionは「最新鋭のジェットエンジンのコア」です。DataFusionの本体は、安全で圧倒的に高速なプログラミング言語である Rust（ラスト） で書かれています。

DataFusionの役割は、Pythonの書きやすさを維持したまま、裏側でRustの爆速エンジンを回してデータを処理することです。これにより、私たちは「Pythonという慣れ親しんだハンドル」を握りながら、「Rustの圧倒的なスピード」を手に入れることができるのです。

また、DataFusionは Apache Arrow という次世代のデータ形式を基盤にしています。これはデータを「列（カラム）」ごとに整理して処理する仕組みで、必要な列だけをピンポイントで読み取ることができるため、無駄なメモリ消費を劇的に抑えることができます。

主な使用例：DataFusionが真価を発揮するシーン

DataFusionは、特に以下のような「データの重さ」が課題になるプロジェクトで威力を発揮します。

  1. 巨大なログファイルやCSVの高速集計 数千万行、数億行という巨大なCSVファイルやParquet（パーケ）ファイルを読み込み、特定の条件でフィルタリングしたり、合計値を計算したりするタスクです。Pandasなら数分かかる処理が、DataFusionなら数秒で終わることも珍しくありません。

  2. SQLとPythonコードの融合プロジェクト 「データ分析はSQLで書きたいけれど、その後の処理はPythonで行いたい」という場面は多いです。DataFusionはSQLを直接実行できるエンジンを持っているため、Pythonスクリプトの中にSQLを組み込んで、そのまま高速に実行するデータパイプラインを簡単に作ることができます。

  3. 独自のデータ処理ツールの開発 非常に軽量で拡張性が高いため、特定の業務に特化した「自分専用の高速データベースエンジン」を作る際の土台として使われます。将来的にデータエンジニアを目指す方にとって、この「エンジンを組み込む」という感覚を学べるのは大きなメリットです。

2. 💻 インストール方法

DataFusionのインストールは非常に簡単です。標準的なパッケージ管理ツールである pip を使って、以下のコマンドを入力するだけで準備が整います。

pip install datafusion

Rustの知識は一切不要です。このコマンドひとつで、PythonからRustの強力な機能を使えるようになります。

3. 🛠️ 実際に動作するサンプルコード

DataFusionの凄さを体感するために、CSVデータを読み込んでSQLで集計し、その結果を表示する一連の流れを見てみましょう。このコードは、ファイルさえ用意すればそのまま動作します。

import datafusion
from datafusion import SessionContext
import pandas as pd

# 1. データ処理の「場（コンテキスト）」を作成
# これがDataFusionのすべての操作の起点になります
ctx = SessionContext()

# 2. サンプルデータの作成（ここではデモ用にPandasで作ったデータをCSV保存します）
# 実際には手元にある巨大なCSVファイルなどを使ってください
data = {
    "item": ["Apple", "Banana", "Apple", "Orange", "Banana", "Apple"],
    "price": [100, 50, 120, 80, 60, 110],
    "quantity": [10, 20, 15, 12, 25, 8]
}
df_sample = pd.DataFrame(data)
df_sample.to_csv("sales_data.csv", index=False)

# 3. CSVファイルをDataFusionに登録
# 'sales' という名前のテーブルとして扱えるようにします
ctx.register_csv("sales", "sales_data.csv")

# 4. SQLを使って高速に集計を実行
# 商品ごとの売上合計（単価 × 個数）を計算し、合計額が高い順に並べ替えます
sql_query = """
    SELECT 
        item, 
        SUM(price * quantity) AS total_revenue,
        AVG(price) AS avg_price
    FROM sales
    GROUP BY item
    ORDER BY total_revenue DESC
"""

# クエリの実行（この時点ではまだ「計算プラン」を作るだけで、実際の重い計算は保留されます）
result_df = ctx.sql(sql_query)

# 5. 結果の取得と表示
# collect() を呼び出した瞬間に、Rustエンジンがフルスピードで計算を開始します
final_results = result_df.collect()

print("--- 集計結果 ---")
for batch in final_results:
    print(batch.to_pandas())

4. 🔍 コードの詳細説明

上記のサンプルコードで行っていることを、いくつかの重要なブロックに分けて解説します。

セッションの作成 (SessionContext)

最初に登場する SessionContext() は、DataFusionにおける「司令塔」の役割を果たします。データの場所を覚えたり、実行するSQLを解析したり、どうすれば一番速く計算できるかという「作戦（実行プラン）」を立てたりするのは、すべてこのコンテキストの中で行われます。

データの登録 (register_csv)

ctx.register_csv("テーブル名", "パス") という部分は、実際のデータをDataFusionの管理下に置く作業です。ここで面白いのは、データをすべてメモリに読み込むのではなく、「ここにこういうデータがあるよ」と教えるだけという点です。これにより、実際に計算が必要になるまでメモリを節約できます。

SQLによる直感的な操作 (ctx.sql)

DataFusionの最大の魅力の一つは、Pythonの中にそのままSQLを書けることです。SELECT, FROM, GROUP BY といった標準的なSQL文を使って、複雑な条件抽出や集計を記述できます。これは、SQLを学んだばかりの初心者にとっても、非常に親しみやすい設計です。

遅延評価と実行 (collect)

ここが最も重要なポイントです。ctx.sql() を実行した瞬間には、実はまだデータの計算は行われていません。DataFusionは「どういう計算をすれば効率が良いか」という計画を立てるだけで待機します。最後の .collect() を呼び出した瞬間に、その計画に沿ってRustのエンジンが動き出し、一気に計算を完了させます。これを「遅延評価（Lazy Evaluation）」と呼び、無駄な計算を省くための高度な仕組みです。

5. ⚠️ 注意点またはヒント

初心者がDataFusionを使い始める際に、知っておくと得をするポイントを絞ってお伝えします。

① 「遅延評価」の罠に注意

サンプルコードの説明でも触れましたが、ctx.sql() を書いただけではエラーも出ないし計算もされません。もしコードを書いても何も起きない場合は、最後に .collect() や .show() を呼び出しているか確認してください。計算を「予約」するのと「実行」するのを分けて考えるのが、DataFusionを使いこなすコツです。

② Parquet形式を活用しよう

CSVファイルは人間には読みやすいですが、コンピュータにとっては処理が重い形式です。DataFusionの性能を100%引き出すなら、データを Parquet（パーケ） という形式で保存して読み込むことを強くおすすめします。Parquetを使うと、DataFusionは「必要な列だけを読み飛ばす」という神業（述語プッシュダウンといいます）ができるようになり、処理速度がさらに数倍から数十倍に跳ね上がります。

6. 🔗 一緒に見ておくと良いライブラリ

DataFusionに興味を持ったなら、次にチェックすべきは 「Polars（ポーラーズ）」 です。

  • なぜおすすめ？: PolarsもDataFusionと同じくRustで作られた超高速なデータ処理ライブラリです。
  • 違い: DataFusionが「SQLエンジン」や「大きなシステムの一部」として使われることが多いのに対し、Polarsは「Pandasの完全な代わり」として、より直感的なメソッドチェーン（.filter().groupby().agg()）で書くことに特化しています。
  • 学習効果: 両方を触ってみることで、「なぜRust製のツールがこれほどまでに速いのか」という現代のデータ処理のトレンドを深く理解できるようになります。

7. 🎉 まとめ

今日は、PythonからRustのパワーを借りてデータを爆速で処理できる Apache DataFusion について学びました。

Pandasで十分な場面も多いですが、データが大きくなり、処理に時間がかかるようになったとき、DataFusionという「強力な武器」を知っているかどうかで、開発者としての対応力が大きく変わります。SQLという普遍的なスキルをそのまま活かせるのも、このライブラリの素晴らしい点です。

🚀 今すぐできる挑戦課題

この記事を読み終えたら、ぜひ以下の課題に挑戦してみてください！

  1. インストールしてみる: pip install datafusion を実行して、自分の環境に導入してみましょう。
  2. 自分のデータを読み込む: 手元にある適当なCSVファイルを register_csv で登録し、簡単な SELECT * FROM ... LIMIT 10 というSQLを実行して表示させてみてください。
  3. 時間を計ってみる: Pandasで書いた集計処理をDataFusionで書き直し、どれくらい実行時間が変わるか time モジュールを使って計測してみましょう。

一歩踏み出すことで、あなたのPython開発の可能性は大きく広がります。応援しています！