Python×Apache DataFusionで1億行を高速処理！Pandasの限界を超えるデータ分析術

「Pandasで巨大なCSVを読み込もうとしたら、メモリ不足でPCがフリーズした」「数千万行の集計処理に数分かかり、試行錯誤のテンポが悪すぎる」

データサイエンスやデータエンジニアリングの現場で、一度はこうした壁にぶつかったことがあるのではないでしょうか。Pythonの標準的なデータ処理ライブラリであるPandasは非常に強力ですが、メモリ効率や並列処理の面で、数億行規模の「ビッグデータ」を扱うには限界があります。

そこで今、大きな注目を集めているのが Apache DataFusion です。

Apache DataFusionは、Rust製の超高速クエリエンジンをPythonから自在に操れるライブラリです。メモリ効率を極限まで高めた設計により、従来のツールでは太刀打ちできなかった大規模データセットも、驚くほどのスピードで処理できます。

この記事では、DataFusionの基礎知識から具体的な実装コード、パフォーマンスを最大化する最適化のテクニック、さらにはPolarsやDuckDBといった競合ライブラリとの比較まで、技術的な詳細を網羅して解説します。

1. Apache DataFusionとは？RustのパワーをPythonに解放する

Apache DataFusionは、もともとRust言語で書かれた非常に高速なクエリエンジンです。これをPythonから利用できるようにしたのが、PythonバインディングとしてのDataFusionです。

核心的な役割：PythonのハンドルでRustのエンジンを回す

Pythonは書きやすく、ライブラリも豊富ですが、実行速度の面ではコンパイル言語に劣ります。一方、RustはC++に匹敵する速度と徹底したメモリ安全性を備えた言語です。

DataFusionを活用するということは、ユーザーはPythonという慣れ親しんだ「ハンドル」を握りながら、裏側でRustという「最新鋭のジェットエンジン」をフル稼働させることを意味します。これにより、開発効率を落とすことなく、実行速度だけを劇的に向上させることが可能になります。

なぜこれほどまでに速いのか？

DataFusionの高速性を支えているのは、主に以下の3つの要素です。

Apache Arrowの採用: データを「列（カラム）」単位で保持するメモリ形式を採用しています。必要な列だけを読み取るため、メモリ消費を最小限に抑えられます。
ベクトル化実行（Vectorized Execution）: データを1行ずつ処理するのではなく、まとまったバッチ単位でCPU命令を実行するため、CPUのキャッシュ効率が極めて高いです。
マルチコアのフル活用: Rustの並列処理能力を活かし、特別な設定なしでPCの全コアを使用して計算を分散させます。

主な活用シーン

数億行規模のログ集計: 数十GBあるCSVやParquetファイルを、数秒〜数十秒で集計したい場合。
SQLベースのデータパイプライン: Pythonコードの中にSQLを組み込み、可読性の高いデータ処理を行いたい場合。
メモリ制限の厳しい環境: クラウドのインスタンス費用を抑えるため、少ないメモリで大量のデータを処理したい場合。

2. なぜPandasより速いのか？内部構造とApache Arrowの役割

Pandasを使っていると、実データの数倍のメモリが消費されることに驚くことがあります。これはPandasがデータを「行」ベースに近い形で管理し、計算時に中間データを大量に生成するためです。

Apache Arrowによるメモリ革命

DataFusionの基盤である Apache Arrow は、データ分析に特化した「列指向（カラムナー）」のインメモリ形式です。

例えば、100個の列があるテーブルから「売上」列だけを集計する場合、Pandasは（工夫をしない限り）全データをメモリに載せようとしますが、DataFusionは「売上」列のデータだけをピンポイントでスキャンします。この挙動の差が、1億行といった規模では決定的な速度差となって現れます。

実行計画（Query Plan）の最適化

DataFusionは、私たちが書いたSQLやコードをそのまま実行するわけではありません。内部で「どうすれば最も効率よく計算できるか」という 論理計画（Logical Plan） と 物理計画（Physical Plan） を自動的に作成します。

述語プッシュダウン: データを読み込む前にフィルタリングを行い、不要な行を最初から読み込まないようにします。
射影プッシュダウン: 必要な列だけを選択して読み込みます。

これらの最適化により、ディスクI/O（ファイルの読み書き）が最小化され、低速なストレージ上にあるデータでも高速に処理できるのです。

3. 環境構築：DataFusionをPythonで使い始めるための準備

DataFusionの導入は非常に簡単です。Rustのコンパイラをインストールする必要はなく、通常のPythonライブラリと同様に pip で完結します。

インストールコマンド

ターミナルまたはコマンドプロンプトで以下のコマンドを実行してください。

pip install datafusion

もし、より高度なデータ操作（PyArrowとの連携など）を行う場合は、以下のライブラリも併せてインストールしておくことを推奨します。

pip install pyarrow pandas

動作環境の確認

DataFusionは、Windows、macOS、Linuxの主要なOSをサポートしています。また、Apple Silicon（M1/M2/M3チップ）にもネイティブ対応しているため、Macユーザーもその恩恵を十分に受けることができます。

Pythonのバージョンは、3.8以上が推奨されています。最新の安定版を使用することで、より洗練された最適化機能を享受できるでしょう。

4. 【基本編】SQLとPythonを融合させたデータ集計の実践

DataFusionの最大の特徴は、Pythonコードの中で 標準SQL がそのまま使える点にあります。SQLに慣れているエンジニアであれば、学習コストをほぼゼロにして使い始めることができます。

1億行を想定した集計サンプルコード

以下のコードは、CSVファイルを読み込み、SQLを使って高速に集計する基本的な流れです。

import datafusion
from datafusion import SessionContext
import pandas as pd
import time

# 1. セッションコンテキストの作成
# これがDataFusionの司令塔になります
ctx = SessionContext()

# 2. サンプルデータの作成（実際は巨大な外部ファイルを使用）
# ここでは動作確認用に小さなデータを作成します
data = {
    "category": ["A", "B", "A", "C", "B", "A"] * 1000,
    "value": [10, 20, 30, 40, 50, 60] * 1000,
    "timestamp": pd.date_range("2023-01-01", periods=6000, freq="H")
}
df_sample = pd.DataFrame(data)
df_sample.to_csv("large_data.csv", index=False)

# 3. CSVファイルを「テーブル」として登録
# この時点ではメタデータ（列名など）を把握するだけで、データ本体は読み込みません
ctx.register_csv("orders", "large_data.csv")

# 4. SQLクエリの記述
# カテゴリごとの合計値と平均値を算出し、降順にソートします
sql_query = """
    SELECT 
        category, 
        SUM(value) AS total_value,
        AVG(value) AS average_value,
        COUNT(*) AS record_count
    FROM orders
    WHERE value > 15
    GROUP BY category
    ORDER BY total_value DESC
"""

# 5. クエリの実行
start_time = time.time()

# ctx.sql() は「実行計画」を立てるだけ（遅延評価）
# .collect() を呼び出した瞬間にRustエンジンが並列実行を開始します
result_batches = ctx.sql(sql_query).collect()

end_time = time.time()

# 6. 結果の表示
# DataFusionの結果はRecordBatch形式ですが、簡単にPandasへ変換可能です
for batch in result_batches:
    print(batch.to_pandas())

print(f"処理時間: {end_time - start_time:.4f} 秒")

コードのポイント解説

SessionContext: 計算リソースの管理やテーブルの登録を行う中心的なオブジェクトです。
register_csv: ファイルパスを教えるだけで、即座にSQLの対象にできます。
collect(): これを呼ぶまで実際の計算は行われません。これにより、複数の処理をまとめて最適化する「遅延評価」が実現されています。

5. 【応用編】大規模データを効率的に扱うための高度なテクニック

DataFusionの真価を発揮させるためには、いくつか知っておくべきテクニックがあります。これらを意識するだけで、処理速度がさらに数倍変わることも珍しくありません。

① CSVではなくParquet（パーケ）形式を活用する

CSVは人間には読みやすいですが、コンピュータにとっては非常に非効率なフォーマットです。一方、Parquet は列指向のバイナリ形式であり、DataFusionとの相性が抜群です。

読み込み速度: Parquetなら必要な列だけをスキップして読み込めるため、CSVの数倍〜数十倍速くなります。
ファイルサイズ: 圧縮効率が高いため、ストレージ容量を大幅に削減できます。

# CSVからParquetへの変換もDataFusionで高速に行えます
ctx.register_csv("old_csv", "large_data.csv")
ctx.sql("SELECT * FROM old_csv").write_parquet("optimized_data.parquet")

② 遅延評価（Lazy Evaluation）を理解する

DataFusionは、私たちが命令を出すたびに「よし、計算しよう」とは動きません。「フィルタをかけて、グループ化して、ソートする」という一連の流れをすべて把握してから、「じゃあ、この順番で処理するのが一番効率的だね」と判断して実行します。

この仕組みがあるため、ユーザーは処理の順番を細かく気にすることなく、宣言的に（何をしたいかだけを）記述すれば良いのです。

③ フィルタプッシュダウンの活用

SQLの WHERE 句を適切に使うことで、DataFusionは「不要なデータは最初からメモリに載せない」という最適化を行います。特にParquet形式を使用している場合、ファイル内の統計情報（最小値・最大値など）を見て、条件に合致しないデータブロックを丸ごとスキップします。これが1億行を爆速で処理できる最大の秘密です。

6. Pandas、Polars、DuckDBとの違い：最適なライブラリの選び方

現在、Pythonの高速データ処理ライブラリにはいくつかの選択肢があります。それぞれの特徴を理解し、用途に合わせて使い分けることが重要です。

特徴	Pandas	Polars	DuckDB	Apache DataFusion
主な言語	Python/C	Rust	C++	Rust
主要な操作	DataFrame API	DataFrame API	SQL	SQL / DataFrame
メモリ管理	インメモリ（一括）	ストリーミング可	ストリーミング可	ストリーミング可
得意なこと	小〜中規模の分析	メソッドチェーン	分析用SQLの実行	大規模データ基盤
拡張性	低い	中程度	中程度	非常に高い

DataFusionを選ぶべきケース

SQLをメインに据えたい: 複雑な集計ロジックをSQLで管理したい場合に最適です。
システムの一部として組み込みたい: DataFusionは「クエリエンジンを作るためのライブラリ」という側面が強いため、独自の分析ツールを作る際の土台として非常に優秀です。
Apache Arrowエコシステムを活用したい: 他の言語（Java, C++, Goなど）とデータを共有するパイプラインがある場合、ArrowベースのDataFusionは最高の選択肢になります。

逆に、Pandasのように「グラフ描画機能まで含めたオールインワンの分析環境」を求めるなら、Polarsの方が直感的に感じるかもしれません。

7. DataFusionを導入する際の注意点とベストプラクティス

強力なDataFusionですが、導入にあたって注意すべき点もいくつかあります。

メモリの割り当て制限

DataFusionはデフォルトで利用可能なメモリを最大限使おうとします。共有サーバーなどで実行する場合は、環境変数やセッション設定でメモリ制限をかけることを検討してください。

Pythonオブジェクトへの変換コスト

.collect() で得られた結果を .to_pandas() でPandasのDataFrameに変換する際、データ量が多いとそこでメモリを大量に消費し、速度も低下します。可能な限り、DataFusion（またはPyArrow）の形式のまま処理を完結させ、最後の最後に必要な結果だけをPandasに戻すのが鉄則です。

データ型の不一致

CSVからデータを読み込む際、DataFusionは自動で型推論を行いますが、稀に意図しない型（数値が文字列になるなど）として認識されることがあります。大規模な本番環境では、register_csv 時にスキーマ（列名と型の定義）を明示的に指定することで、エラーを防ぎ、読み込み速度をさらに向上させることができます。

8. まとめ：1億行の壁を突破するためのロードマップ

Pandasでのデータ処理に限界を感じているなら、Apache DataFusionは現状で最も有力な解決策の一つです。

まずは pip install datafusion: 1分で準備は整います。
SQLで書いてみる: 既存のSQL資産をそのまま流用し、その速度差を体感してください。
Parquetに移行する: CSVを卒業し、列指向フォーマットの恩恵をフルに受けましょう。

「Pythonは遅い」という常識は、もはや過去のものです。Rustの堅牢さと速度をPythonの柔軟性と組み合わせることで、あなたのPCは強力なデータ分析マシンへと進化します。1億行のデータセットを前にしても、もう怯える必要はありません。

よくある質問（FAQ）

Q1. PandasのDataFrameを直接DataFusionで処理できますか？ はい、可能です。ctx.from_pandas(df) を使用することで、メモリ上のPandas DataFrameをDataFusionのテーブルとして登録できます。ただし、非常に大きなデータの場合は、最初からCSVやParquetとして DataFusion に読み込ませる方がメモリ効率は良くなります。

Q2. DataFusionはGPUを使って加速できますか？ 標準の Apache DataFusion はCPUのマルチコア最適化に特化しています。GPUを活用したい場合は、NVIDIAが主導している「NVIDIA cuDF」や、DataFusionをベースにGPU対応させたプロジェクト（例えば「BlazingSQL」の後継など）を検討する必要がありますが、通常の分析であればCPUだけで十分に高速です。

Q3. 分散コンピューティング（複数台のサーバー）に対応していますか？ DataFusion自体は単一ノード（1台のPC）内での並列処理に最適化されています。複数台のサーバーに分散させたい場合は、DataFusionをコアエンジンとして採用している分散クエリエンジン「Ballista」を使用することで、Sparkのような分散処理が可能になります。

Polars vs DataFusion：用途に合わせた最適な高速化ライブラリの選び方
Apache Arrow入門：なぜ現代のデータ処理は「列指向」なのか？
Pythonデータ分析を効率化！Parquet形式のメリットと変換方法まとめ

okpy

Pythonエンジニア兼テックリーダーが、多くのプロジェクトとチーム運営から得た実践的な知識を共有するブログです。

Python×Apache DataFusionで1億行を高速処理！Pandasの限界を超えるデータ分析術

Python×Apache DataFusionで1億行を高速処理！Pandasの限界を超えるデータ分析術

1. Apache DataFusionとは？RustのパワーをPythonに解放する

核心的な役割：PythonのハンドルでRustのエンジンを回す

なぜこれほどまでに速いのか？

主な活用シーン

2. なぜPandasより速いのか？内部構造とApache Arrowの役割

Apache Arrowによるメモリ革命

実行計画（Query Plan）の最適化

3. 環境構築：DataFusionをPythonで使い始めるための準備

インストールコマンド

動作環境の確認

4. 【基本編】SQLとPythonを融合させたデータ集計の実践

1億行を想定した集計サンプルコード

コードのポイント解説

5. 【応用編】大規模データを効率的に扱うための高度なテクニック

① CSVではなくParquet（パーケ）形式を活用する

② 遅延評価（Lazy Evaluation）を理解する

③ フィルタプッシュダウンの活用

6. Pandas、Polars、DuckDBとの違い：最適なライブラリの選び方

DataFusionを選ぶべきケース

7. DataFusionを導入する際の注意点とベストプラクティス

メモリの割り当て制限

Pythonオブジェクトへの変換コスト

データ型の不一致

8. まとめ：1億行の壁を突破するためのロードマップ

よくある質問（FAQ）

関連記事