京东科技隐私计算产品部 曹雨晨

为什么从源代码构建

一般情况下，直接装置构建好的.whl即可。不过，当需求一些特别装备（或许闲来无事想体会 TensorFlow 构建过程到底有多费事）的时分，则需求挑选从源代码构建TensorFlow。万幸文档紊乱的 TensorFlow 还是好心肠为我们提供了一整页的文档供参阅 www.tensorflow.org/install/sou… ，个人认为其间最需求重视的部分莫过于通过测验供参阅的源装备（列于文末）。TF运用 Google 的开源构建东西 bazel 构建，而且源码的版别与 bazel 的版别高度相关，所以尽量匹配版别进行构建。

流程记载 TF v1.14.0 CPU on Ubuntu 18.04

装置对应版别的 bazel

依据计划构建的版别，查阅文末的对应装备，参阅官方文档： bazel.build/install/ubu… 装置相应版别的 bazel，如本次计划构建的版别是 v1.14.0，对应的 bazel 版别是 0.24.1(此次运用0.26.1也是能够的)。

为便利，这儿直接贴出对应 0.26.1 release 的页面： github.com/bazelbuild/… ，点击assets找到对应的文件下载即可。

wget https://github.com/bazelbuild/bazel/releases/download/0.26.1/bazel-0.26.1-installer-linux-x86_64.sh
chmod +x bazel-version-installer-linux-x86_64.sh
./bazel-version-installer-linux-x86_64.sh --user

克隆 TensorFlow 库房

从 Github 上 clone 源码库房

git clone https://github.com/tensorflow/tensorflow

cd 到库房目录并 git checkout到相应 tag，比方这次是构建 v1.14.0 版别：

git checkout v1.14.0

* 一些小调整，一般能够略过

Build with C++17

因为之后需求写的 Custom OP 依靠的另一个库是 C++17，而除了刚刚才发布的 v2.10 版，曾经的 TF默认是运用 C++11，实际构建的时分，代码有一些 minor fix。此处参阅 github.com/tensorflow/… 修正 .bazelrc 里 build:c++17 的装备，在 tensorflow/core/lib/gif/gif_io.cc 中增加 #include<cstring>, 并在 tensorflow/stream_executor/stream_executor_pimpl.h 中增加 #include "absl/memory/memory.h"（否则 compile 时会报错找不到 absl::make_unique）（这儿 make_unique 是 C++17 规范库里的用法，Google的abseil的make_unique方法则便利C++11的代码也能够运用它；最新的v2.10版因为默认运用C++17，现已改为std::make_unique）

.bazelrc 文件里记载了构建时各种装备选项 （[--config=option]）的映射规则，如有需求能够进行修正。因为 GCC 不支持--stdlib指令，此次修正如下：

  # Build TF with C++ 17 features.
- build:c++17 --cxxopt=-std=c++1z
- build:c++17 --cxxopt=-stdlib=libc++
+ build:c++17 --cxxopt=-std=c++17

网络不通

Bazel 在构建过程中，需求现拉取长途库房的许多依靠。因为 TF 的构建过程耗费内存很严重，挑选在服务器上进行构建，而服务器长途拉取 github 上库房经常失利。所以需求手动在网络杰出的机器上下载相应的库的 release （对应的版别在 WORKSPACE 文件中能够找到一行注释），存放在服务器本地，并在 WORKSPACE 文件中对应的 http_archive 部分增加一行本地地址。若需求换版别，也能够在相应github库的releases下面找到对应的 URL 及 sha256（实在是找不到对应的也能够手动下载压缩包后通过 shasum256 指令获取）

例如：

http_archive(
 name = "build_bazel_rules_apple",
 sha256 = "a045a436b642c70fb0c10ca84ff0fd2dcbd59cc89100d597a61e8374afafb366",
 urls = ["https://github.com/bazelbuild/rules_apple/releases/download/0.18.0/rules_apple.0.18.0.tar.gz",
         "file:///opt/tensorflow_build_deps/rules_apple.0.18.0.tar.gz"],
) # https://github.com/bazelbuild/rules_apple/releases

装备 build

运转源码根目录下的 ./configure 进行装备。

./configure

此次编译一个尽量简略的 CPU 版别，会话如下：

WARNING: --batch mode is deprecated. Please instead explicitly shut down your Bazel server using the command "bazel shutdown".
You have bazel 0.26.1 installed.
Please specify the location of python. [Default is /usr/local/bin/python]:
Found possible Python library paths:
  /usr/local/lib/python3.6/dist-packages
  /usr/lib/python3/dist-packages
Please input the desired Python library path to use.  Default is [/usr/local/lib/python3.6/dist-packages]
Do you wish to build TensorFlow with XLA JIT support? [Y/n]: n
No XLA JIT support will be enabled for TensorFlow.
Do you wish to build TensorFlow with OpenCL SYCL support? [y/N]: n
No OpenCL SYCL support will be enabled for TensorFlow.
Do you wish to build TensorFlow with ROCm support? [y/N]: n
No ROCm support will be enabled for TensorFlow.
Do you wish to build TensorFlow with CUDA support? [y/N]: n
No CUDA support will be enabled for TensorFlow.
Do you wish to download a fresh release of clang? (Experimental) [y/N]: n
Clang will not be downloaded.
Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native -Wno-sign-compare]:
Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.
Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=monolithic     # Config for mostly static monolithic build.
    --config=ngraph         # Build with Intel nGraph support.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v2             # Build TensorFlow 2.x instead of 1.x.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=noaws          # Disable AWS S3 filesystem support.
    --config=nogcp          # Disable GCP support.
    --config=nohdfs         # Disable HDFS support.
    --config=nonccl         # Disable NVIDIA NCCL support.
Configuration finished

构建 pip 软件包并装置

官方提供的指令：

bazel build [--config=option] //tensorflow/tools/pip_package:build_pip_package

本次运用：

bazel build --config=c++17 --config=c++1z --jobs=6 //tensorflow/tools/pip_package:build_pip_package

其间运用的 --config=c++17 --config=c++1z 对应刚刚修正的 .bazelrc 文件中相应的部分

留意：bazel build 的过程时刻会比较长，对内存的耗费较大，jobs 数慎重开大。

bazel build 完毕后，一个名为 build_pip_package 的可履行文件就创立好了，接下来能够履行：

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

假如希望构建的whl名为 tf-nightly 版别，则能够加上 --nightly_flag 的选项。

./bazel-bin/tensorflow/tools/pip_package/build_pip_package --nightly_flag /tmp/tensorflow_pkg

此后便获得了 .whl 文件，通过 pip 装置即可：

pip install /tmp/tensorflow_pkg/tensorflow-[version]-[tags].whl

其间，version是对应的版别，tags与系统有关。

通过测验的源装备

Linux

CPU

GPU

macOS

CPU

GPU