本地部署 torchchat的详细过程

更新时间：2024年08月16日 10:43:08 作者：engchina

TorchChat 是一个小型代码库,展示了无缝运行大型语言模型（LLMs）的能力,使用 torchchat,您可以在自己的（C/C++）应用程序（桌面或服务器）以及 iOS 和 Android 上使用 Python 运行LLMs,这篇文章主要介绍了本地部署 torchchat,需要的朋友可以参考下

本地部署 torchchat

0. 引言

TorchChat 是一个小型代码库，展示了无缝运行大型语言模型（LLMs）的能力。使用 torchchat，您可以在自己的（C/C++）应用程序（桌面或服务器）以及 iOS 和 Android 上使用 Python 运行LLMs。

1. 本地部署

1-1. 创建虚拟环境

conda create -n torchchat python=3.12 -y
conda activate torchchat

1-2. 克隆代码

git clone https://github.com/pytorch/torchchat.git

1-3. 安装依赖模块

./install_requirements.sh

(20240816时点)我的wls-ubuntu环境会报以下错误，

+ python scripts/patch_triton.py
/mnt/e/workspace/torchchat/scripts/patch_triton.py:20: SyntaxWarning: invalid escape sequence '\s'
  new_match = 'self.src = self.src[re.search(r"^def\s+\w+\s*\(", self.src, re.MULTILINE).start():]'

临时解决方法，

vi /mnt/e/workspace/torchchat/scripts/patch_triton.py
---
# new_match = 'self.src = self.src[re.search(r"^def\s+\w+\s*\(", self.src, re.MULTILINE).start():]'
new_match = r'self.src = self.src[re.search(r"^def\s+\w+\s*\(", self.src, re.MULTILINE).start():]'
---

重新运行，

./install_requirements.sh

1-4. 下载模型

huggingface-cli login

查看现在支持的模型，

# python3 torchchat.py list
Model                                   Aliases                                     Downloaded
--------------------------------------- ------------------------------------------- -----------
meta-llama/llama-2-7b-hf                llama2-base, llama2-7b
meta-llama/llama-2-7b-chat-hf           llama2, llama2-chat, llama2-7b-chat
meta-llama/llama-2-13b-chat-hf          llama2-13b-chat
meta-llama/llama-2-70b-chat-hf          llama2-70b-chat
meta-llama/meta-llama-3-8b              llama3-base
meta-llama/meta-llama-3-8b-instruct     llama3, llama3-chat, llama3-instruct
meta-llama/meta-llama-3-70b-instruct    llama3-70b
meta-llama/meta-llama-3.1-8b            llama3.1-base
meta-llama/meta-llama-3.1-8b-instruct   llama3.1, llama3.1-chat, llama3.1-instruct  Yes
meta-llama/meta-llama-3.1-70b-instruct  llama3.1-70b
meta-llama/codellama-7b-python-hf       codellama, codellama-7b
meta-llama/codellama-34b-python-hf      codellama-34b
mistralai/mistral-7b-v0.1               mistral-7b-v01-base
mistralai/mistral-7b-instruct-v0.1      mistral-7b-v01-instruct
mistralai/mistral-7b-instruct-v0.2      mistral, mistral-7b, mistral-7b-instruct
openlm-research/open_llama_7b           open-llama, open-llama-7b
stories15m
stories42m
stories110m

下载模型，

python torchchat.py download llama3.1

1-5. 运行模型

python3 torchchat.py chat llama3.1

1-6. 使用 UI

此模式允许您使用浏览器中的 UI 与模型聊天：运行命令会自动在浏览器中打开一个选项卡。

streamlit run torchchat.py -- browser llama3.1

完结！

reference: https://github.com/pytorch/torchchat

到此这篇关于本地部署 torchchat的文章就介绍到这了,更多相关本地部署 torchchat内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

kettle在windows上安装配置与实践案例
Kettle是一款开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定，这篇文章主要介绍了kettle在windows上安装配置与实践案例,需要的朋友可以参考下
2022-11-11
Git的撤销、修改和回退命令
这篇文章介绍了Git的撤销、修改和回退命令，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-04-04
初探 SOA(补充)
SOA是一种应用框架，它着眼于日常的业务应用，并将它们划分为单独的业务功能和流程，即所谓的服务。它使用户可以构建、部署和整合这些服务，且无需依赖应用程序及其运行计算平台，从而提高业务流程的灵活性。
2009-01-01
鸿蒙中@State的原理使用详解(HarmonyOS 5)
@State是 HarmonyOS ArkTS 框架中用于管理组件状态的核心装饰器,其核心作用是实现数据驱动 UI 的响应式编程模式,本文给大家介绍鸿蒙中@State的原理详解,感兴趣的朋友一起看看吧
2025-04-04
Git 标签使用详解
这篇文章主要介绍了Git 标签使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-07-07
微信支付--签名错误问题的解决方法
这篇文章主要介绍了微信支付--签名错误问题，本文给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下
2019-07-07
人工智能学习路线分享
这篇文章主要为大家分享了人工智能"六步走"学习路线，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2017-12-12
Elasticsearch的删除映射类型操作示例
这篇文章主要为大家介绍了Elasticsearch的删除映射类型操作示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2022-04-04
Python和Go成为2019年最受欢迎的黑客工具(推荐)
这篇文章主要介绍了Python和Go成为2019年最受欢迎的黑客工具,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2020-06-06
Xshell 6安装和使用教程详解
这篇文章主要介绍了Xshell 6安装和使用教程,Xshell 6支持Windows 平台远程协议Telnet、Rlogin、SSH1/SSH2 PKCS#11、SFTP、Serial，本文给大家讲解的非常详细需要的朋友可以参考下
2022-11-11