编译阶段

1. 克隆源码

git clone git@github.com:NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
git lfs install
git lfs pull

2. 更新第三方子项目源码

git submodule update --init --recursive

3. 编译（第一次编译会拉一个镜像，耐心等待），注意：直接make是构建开发环境，开发环境不会将trt-llm编译进去，所以这里用了make release_build来构建正式版，编译大概需要一个小时，可以耐心等待。

cd docker
make release_build

4. 编译完成后可以看到一个叫tensorrt_llm/release:latest的镜像。

运行阶段

1. 尝试运行该镜像

docker run --gpus all \
  --name trt_llm \
  -d \
  --ipc=host \
  --ulimit memlock=-1 \
  --restart=always \
  --ulimit stack=67108864 \
  tensorrt_llm/release sleep 8640000

2. 进入容器

docker exec -it trt_llm /bin/bash

3. 容器里面测一下nvidia-smi命令
4. 再看看有没有tensorrt-llm

pip list | grep tensorrt

• 输出结果：

tensorrt                  9.1.0.post12.dev4
tensorrt-llm              0.5.0
torch-tensorrt            2.0.0.dev0

------------------------------------------------------------------------------------------------------
2023-10-20 17:02 更新

才发现官方有编译说明，建议参考官方的编译说明，能够大幅度减少编译时间：https://github.com/NVIDIA/TensorRT-LLM/blob/release/0.5.0/docs/source/installation.md#fetch-the-sources