Tuplex 是一個并行的大數據處理框架，它以編譯代碼的速度運行用 Python 編寫的數據科學管道。Tuplex 具有與Apache Spark或Dask類似的 Python API?，但與調用 Python 解釋器不同，Tuplex 為給定的管道和輸入數據集生成優(yōu)化的 LLVM 字節(jié)碼。在底層，Tuplex 基于數據驅動編譯和雙模式處理，這兩項關鍵技術使 Tuplex 能夠提供與手工優(yōu)化的 C++ 編寫的流水線相媲美的速度。

安裝

要安裝 Tuplex，您可以使用適用于 Linux 的 PyPi 包，或適用于 MacOS 的 Docker 容器，這將啟動預裝 Tuplex 的 jupyter notebook。

Docker

docker run -p 8888:8888 tuplex/tuplex

PyPI

pip install tuplex

構建

Tuplex 適用于 MacOS 和 Linux。當前版本已在 MacOS 10.13-10.15 和 Ubuntu 18.04 和 20.04 LTS 下測試。要安裝 Tuplex，只需先安裝依賴項，然后構建包。

MacOS 從源代碼構建

要構建 Tuplex，您首先需要其他幾個可以通過?brew?輕松安裝的軟件包。

brew install llvm@9 boost boost-python3 aws-sdk-cpp pcre2 antlr4-cpp-runtime googletest gflags yaml-cpp celero
python3 -m pip cloudpickle numpy
python3 setup.py install

從源代碼構建 Ubuntu

為了便于安裝 Ubuntu 的依賴項，我們提供了兩個腳本（scripts/ubuntu1804/install_reqs.sh適用于 Ubuntu 18.04 或scripts/ubuntu2004/install_reqs.shUbuntu 20.04）。要創(chuàng)建 Tuplex 的最新版本，只需運行

./scripts/ubuntu1804/install_reqs.sh
python3 -m pip cloudpickle numpy
python3 setup.py install