langchain中的chat models介绍和使用实例
简介
之前我们介绍了LLM模式，这种模式是就是文本输入，然后文本输出。
chat models是基于LLM模式的更加高级的模式。他的输入和输出是格式化的chat messages。
一起来看看如何在langchain中使用caht models吧。
chat models的使用
首先langchain对chat models下支持的模型就少很多了。一方面是可能有些语言模型本身是不支持chat models的。另外一方面langchain也还是在一个发展中的过程，所以有些模型还需要适配。
目前看来langchain支持的chat models有：ChatAnthropic,AzureChatOpenAI,ChatVertexAI,JinaChat,ChatOpenAI和PromptLayerChatOpenAI这几种。
langchain把chat消息分成了这几种：AIMessage, HumanMessage, SystemMessage 和 ChatMessage。
HumanMessage就是用户输入的消息，AIMessage是大语言模型的消息，SystemMessage是系统的消息。ChatMessage是一种可以自定义类型的消息。
在使用的时候，只需要在chat中传入对应的消息即可：
from langchain.chat_models import ChatOpenAI
chat = ChatOpenAI()
messages = [
SystemMessage(content="你是一个小说家"),
HumanMessage(content="帮我写篇小说")
]
chat(messages)当然和LLM一样，你也可以使用批量模式如下：
batch_messages = [
[
SystemMessage(content="你是一个小说家"),
HumanMessage(content="帮我写篇小说")
],
[
SystemMessage(content="你是一个诗人"),
HumanMessage(content="帮我写首诗")
],
]
result = chat.generate(batch_messages)
resultchat models的高级功能
其实和LLM类似，基本上LLM有的高级功能chat models都有。
比如有用的比如缓存功能，可以缓存之前的输入和输出，避免每次都调用LLM，从而可以减少token的开销。
以InMemoryCache为例子：
from langchain.cache import InMemoryCache
langchain.llm_cache = InMemoryCache()
# 第一次调用，不是用cache
llm.predict("Tell me a joke")
# 第二次调用，使用cache
llm.predict("Tell me a joke")除了InMemoryCache,langchain还支持FullLLMCache,SQLAlchemyCache,SQLiteCache和RedisCache等等。
同样的，chat models也是支持流模式的：
from langchain.chat_models import ChatOpenAI
from langchain.schema import (
HumanMessage,
)
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
chat = ChatOpenAI(streaming=True, callbacks=[StreamingStdOutCallbackHandler()], temperature=0)
resp = chat([HumanMessage(content="帮忙我写首诗")])只需要在构建ChatOpenAI的时候，把StreamingStdOutCallbackHandler传入callbacks即可。
如果要在chat models中使用PromptTemplate，因为chat models的消息格式跟LLM是不一样的，所以对应的PromptTemplate也是不一样的。
和对应的chat models消息对应的PromptTemplate是ChatPromptTemplate,SystemMessagePromptTemplate,
AIMessagePromptTemplate和HumanMessagePromptTemplate。
我们看下是如何使用prompt template来构建prompt:
from langchain import PromptTemplate
from langchain.prompts.chat import (
ChatPromptTemplate,
SystemMessagePromptTemplate,
AIMessagePromptTemplate,
HumanMessagePromptTemplate,
)
# 构建各种prompt
template="You are a helpful assistant that translates {input_language} to {output_language}."
system_message_prompt = SystemMessagePromptTemplate.from_template(template)
human_template="{text}"
human_message_prompt = HumanMessagePromptTemplate.from_template(human_template)
chat_prompt = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])
# 使用format_prompt把prompt传给chat
chat(chat_prompt.format_prompt(input_language="English", output_language="French", text="I love programming.").to_messages())chat models下消息构建确实比直接使用LLM要复杂点，大家在使用的时候需要注意。
总结
chat models是LLM的高阶表现形式。如果我们需要进行对话模型的话，就可以考虑使用这个。
相关文章
雷达图（Radar Chart） 就像一位全能选手,以其独特的环形布局,让多维数据的对比变得直观又美观,下面我们就来看看如何使用Python绘制精美雷达图吧2025-07-07
Visdom 是一个专门用于 PyTorch 的交互式可视化工具,可以对实时数据进行丰富的可视化,帮助我们实时监控在远程服务器上进行的科学实验,这篇文章主要给大家介绍了关于Pytorch可视化之Visdom使用的相关资料,需要的朋友可以参考下2021-08-08
在数据科学中，有多种工具可以进行可视化。下面这篇文章主要给大家介绍了关于利用Python代码实现数据可视化的5种方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起看看吧。2018-03-03
Python使用PySimpleGUI和Pygame编写一个MP3播放器
这篇文章主要为大家详细介绍了Python如何使用PySimpleGUI和Pygame编写一个简单的MP3播放器,文中的示例代码讲解详细,感兴趣的小伙伴可以学习一下2023-11-11
这篇文章主要介绍了pycharm激活方法到2099年,文末给大家提到了idea和pycharm最新版激活方法，非常不错对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-09-09
今天小编就为大家分享一篇python 多线程串行和并行的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-02-02
本文主要介绍了几种在Python忽略警告信息的方法,,可以使用Python 内置的警告控制机制来抑制特定类型的警告,下面就来介绍一下,感兴趣的可以了解一下2025-01-01
Python 列出了可以传递给程序中的函数的两种类型的参数, 非关键字参数**args和关键字参数 **kwargs ,在本文中,我们将讨论如何使用关键字参数及如何将关键字参数传递给另一个函数,感兴趣的朋友跟随小编一起看看吧2023-08-08
这篇文章主要为大家详细介绍了PyQt5每天必学之拖放事件的相关资料，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-04-04
这篇文章主要为大家介绍了python数字图像处理之基本图形的绘制，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
最新评论