logo 🤗

技术视野

聚焦科技前沿,分享技术解析,洞见未来趋势。在这里,与您一起探索人工智能的无限可能,共赴技术盛宴。

首页
logo
最新
默认分类
安装与配置
TensorRT-LLM
Agent
端侧大模型
TensorRT-LLM
Triton部署TensorRT-LLM

TensorRT-LLM
TensorRT-LLM + Langchain部署
  1. 部署Qwen-7B-Chat-TensorRT-LLM , 参考该项目:https://github.com/Tlntin/Qwen-7B-Chat-TensorRT-LLM ,需要部署api。
  2. 下载Langchain-Chatchat,当前最新版0.2.6
TensorRT-LLM
docker编译TensorRT-LLM镜像

TensorRT-LLM
VsCode调试TensorRT-LLM



40 文章数
5 分类数
41 页面数
已在风雨中度过 1年282天2小时55分
暗黑模式
暗黑模式
返回顶部
暗黑模式
暗黑模式
返回顶部