logo 🤗

技术视野

聚焦科技前沿,分享技术解析,洞见未来趋势。在这里,与您一起探索人工智能的无限可能,共赴技术盛宴。

logo
TensorRT-LLM
Triton部署TensorRT-LLM

TensorRT-LLM
TensorRT-LLM + Langchain部署
  1. 部署Qwen-7B-Chat-TensorRT-LLM , 参考该项目:https://github.com/Tlntin/Qwen-7B-Chat-TensorRT-LLM ,需要部署api。
  2. 下载Langchain-Chatchat,当前最新版0.2.6
TensorRT-LLM
docker编译TensorRT-LLM镜像

TensorRT-LLM
VsCode调试TensorRT-LLM



39 文章数
5 分类数
40 页面数
已在风雨中度过 1年160天14小时21分
暗黑模式
暗黑模式
返回顶部
暗黑模式
暗黑模式
返回顶部