Python

PyArrow - Apache Arrow Python 繫結

這是 Apache Arrow Python API 的文件。

Apache Arrow 是一種通用的列式格式和多語言工具箱，用於快速資料交換和記憶體中分析。它包含一系列技術，使資料系統能夠高效地儲存、處理和移動資料。

請參閱父文件，以獲取有關 Arrow 專案本身、Arrow 格式以及其他語言繫結的更多詳細資訊。

Arrow Python 繫結（也稱為“PyArrow”）與 NumPy、pandas 和內建 Python 物件具有一流的整合。它們基於 Arrow 的 C++ 實現。

在這裡，我們將詳細介紹 Arrow Python API 的使用方法，以及新增額外功能（例如將 Apache Parquet 檔案讀取到 Arrow 結構中）的葉子庫。

• 安裝 PyArrow
  • 系統相容性
  • Python 相容性
  • 使用 Conda
  • 使用 Pip
  • 安裝每日構建包或從原始碼安裝
  • 依賴項
  • conda-forge 包之間的區別
• 入門
  • 建立陣列和表格
  • 儲存和載入表格
  • 執行計算
  • 處理大資料
  • 後續內容
• 資料型別和記憶體資料模型
  • 型別元資料
  • 模式
  • 陣列
  • 記錄批次
  • 表
  • 自定義 Schema 和欄位元資料
  • Record Batch 讀取器
  • RecordBatch 到 Tensor 的轉換
• 計算函式
  • 標準計算函式
  • 分組聚合
  • 表格和資料集連線 (Joins)
  • 透過表示式過濾
  • 使用者自定義函式
  • 標準 Python 運算子
• 記憶體和 IO 介面
  • 記憶體引用與分配
  • 輸入和輸出
• 流式處理、序列化和 IPC
  • 寫入和讀取流
  • 高效地寫入和讀取 Arrow 資料
• 檔案系統介面
  • 用法
  • 本地檔案系統 (Local FS)
  • S3
  • Google Cloud Storage 檔案系統
  • Hadoop 分散式檔案系統 (HDFS)
  • Azure Storage 檔案系統
  • 將 fsspec 相容的檔案系統與 Arrow 結合使用
  • 使用 fsspec 相容的檔案系統 URI
  • 將 Arrow 檔案系統與 fsspec 結合使用
• NumPy 整合
  • NumPy 到 Arrow
  • Arrow 到 NumPy
• Pandas 整合
  • DataFrames
  • Series
  • 處理 pandas 索引
  • 型別差異
  • 可空型別
  • 記憶體使用與零複製
• Dataframe 交換協議
  • 從 PyArrow 到其他庫：__dataframe__() 方法
  • 從其他庫到 PyArrow：from_dataframe()
• DLPack 協議
  • PyArrow 中的 DLPack 實現
  • 示例
• 時間戳
  • Arrow/Pandas 時間戳
  • 時間戳轉換
• 讀取和寫入 Apache ORC 格式
  • 獲取支援 ORC 的 pyarrow
  • 讀取和寫入單個檔案
  • 更細粒度的讀取和寫入
  • 壓縮
  • 從雲端儲存讀取
• 讀取和寫入 CSV 檔案
  • 用法
  • 自定義解析
  • 自定義轉換
  • 增量讀取
  • 字元編碼
  • 自定義寫入
  • 增量寫入
  • 效能
• Feather 檔案格式
  • 使用壓縮
  • 寫入版本 1 (V1) 檔案
• 讀取 JSON 檔案
  • 用法
  • 自動型別推斷
  • 自定義解析
  • 增量讀取
• 讀取和寫入 Apache Parquet 格式
  • 獲取支援 Parquet 的 pyarrow
  • 讀取和寫入單個檔案
  • 更細粒度的讀取和寫入
  • 檢查 Parquet 檔案元資料
  • 資料型別處理
  • 壓縮、編碼和檔案相容性
  • 分割槽資料集（多檔案）
  • 寫入分割槽資料集
  • 讀取分割槽資料集
  • 與 Spark 一起使用
  • 多執行緒讀取
  • 從雲端儲存讀取
  • Parquet 模組化加密（列式加密）
  • 基於內容定義的切分 (Chunking)
• 表格資料集
  • 讀取資料集
  • 過濾資料
  • 投影列
  • 讀取分割槽資料
  • 從雲端儲存讀取
  • 從 Minio 讀取
  • 處理 Parquet 資料集
  • 資料集的手動指定
  • 迭代讀取（核外或流式）
  • 關於事務和 ACID 保證的注意事項
  • 寫入資料集
• Arrow Flight RPC
  • 編寫 Flight 服務
  • 使用 Flight 客戶端
  • 取消和超時
  • 啟用 TLS
  • 啟用身份驗證
  • 自定義中介軟體
  • Flight 最佳實踐
• 擴充套件 PyArrow
  • 使用 PyCapsule 介面控制到 (Py)Arrow 的轉換
  • 使用 __arrow_array__ 協議控制到 pyarrow.Array 的轉換
  • 定義擴充套件型別（“使用者自定義型別”）
• PyArrow 整合
  • Substrait
  • 將 PyArrow 與 R 整合
  • 將 PyArrow 與 Java 整合
  • 從 C++ 和 Cython 程式碼使用 pyarrow
  • CUDA 整合
• 環境變數
• API 參考
  • 資料型別和模式
  • 陣列和標量
  • 緩衝區和記憶體
  • 表和張量
  • 計算函式
  • Acero - 流式執行引擎
  • Substrait
  • 流和檔案訪問
  • 序列化和 IPC
  • Arrow Flight
  • 表格檔案格式
  • 檔案系統
  • 資料集
  • CUDA 整合
  • 雜項
• 參與其中
  • PyArrow 架構
• Python 菜譜