langchain中的chat models介绍和使用实例

 更新时间:2023年11月10日 08:39:23   作者:flydean  
这篇文章主要介绍了langchain中的chat models介绍和使用实例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

简介

之前我们介绍了LLM模式,这种模式是就是文本输入,然后文本输出。

chat models是基于LLM模式的更加高级的模式。他的输入和输出是格式化的chat messages。

一起来看看如何在langchain中使用caht models吧。

chat models的使用

首先langchain对chat models下支持的模型就少很多了。一方面是可能有些语言模型本身是不支持chat models的。另外一方面langchain也还是在一个发展中的过程,所以有些模型还需要适配。

目前看来langchain支持的chat models有:ChatAnthropic,AzureChatOpenAI,ChatVertexAI,JinaChat,ChatOpenAI和PromptLayerChatOpenAI这几种。

langchain把chat消息分成了这几种:AIMessage, HumanMessage, SystemMessage 和 ChatMessage。

HumanMessage就是用户输入的消息,AIMessage是大语言模型的消息,SystemMessage是系统的消息。ChatMessage是一种可以自定义类型的消息。

在使用的时候,只需要在chat中传入对应的消息即可:

from langchain.chat_models import ChatOpenAI
chat = ChatOpenAI()
messages = [
    SystemMessage(content="你是一个小说家"),
    HumanMessage(content="帮我写篇小说")
]
chat(messages)

当然和LLM一样,你也可以使用批量模式如下:

batch_messages = [
    [
        SystemMessage(content="你是一个小说家"),
        HumanMessage(content="帮我写篇小说")
    ],
    [
        SystemMessage(content="你是一个诗人"),
        HumanMessage(content="帮我写首诗")
    ],
]
result = chat.generate(batch_messages)
result

chat models的高级功能

其实和LLM类似,基本上LLM有的高级功能chat models都有。

比如有用的比如缓存功能,可以缓存之前的输入和输出,避免每次都调用LLM,从而可以减少token的开销。

以InMemoryCache为例子:

from langchain.cache import InMemoryCache
langchain.llm_cache = InMemoryCache()
# 第一次调用,不是用cache
llm.predict("Tell me a joke")
# 第二次调用,使用cache
llm.predict("Tell me a joke")

除了InMemoryCache,langchain还支持FullLLMCache,SQLAlchemyCache,SQLiteCache和RedisCache等等。

同样的,chat models也是支持流模式的:

from langchain.chat_models import ChatOpenAI
from langchain.schema import (
    HumanMessage,
)
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
chat = ChatOpenAI(streaming=True, callbacks=[StreamingStdOutCallbackHandler()], temperature=0)
resp = chat([HumanMessage(content="帮忙我写首诗")])

只需要在构建ChatOpenAI的时候,把StreamingStdOutCallbackHandler传入callbacks即可。

如果要在chat models中使用PromptTemplate,因为chat models的消息格式跟LLM是不一样的,所以对应的PromptTemplate也是不一样的。

和对应的chat models消息对应的PromptTemplate是ChatPromptTemplate,SystemMessagePromptTemplate,
AIMessagePromptTemplate和HumanMessagePromptTemplate。

我们看下是如何使用prompt template来构建prompt:

from langchain import PromptTemplate
from langchain.prompts.chat import (
    ChatPromptTemplate,
    SystemMessagePromptTemplate,
    AIMessagePromptTemplate,
    HumanMessagePromptTemplate,
)
# 构建各种prompt
template="You are a helpful assistant that translates {input_language} to {output_language}."
system_message_prompt = SystemMessagePromptTemplate.from_template(template)
human_template="{text}"
human_message_prompt = HumanMessagePromptTemplate.from_template(human_template)
chat_prompt = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])
# 使用format_prompt把prompt传给chat
chat(chat_prompt.format_prompt(input_language="English", output_language="French", text="I love programming.").to_messages())

chat models下消息构建确实比直接使用LLM要复杂点,大家在使用的时候需要注意。

总结

chat models是LLM的高阶表现形式。如果我们需要进行对话模型的话,就可以考虑使用这个。

相关文章

  • 详解mac python+selenium+Chrome 简单案例

    详解mac python+selenium+Chrome 简单案例

    这篇文章主要介绍了详解mac python+selenium+Chrome 简单案例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-11-11
  • python 自定义异常和主动抛出异常(raise)的操作

    python 自定义异常和主动抛出异常(raise)的操作

    这篇文章主要介绍了python 自定义异常和主动抛出异常(raise)的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • Python使用logging实现多进程安全的日志模块

    Python使用logging实现多进程安全的日志模块

    这篇文章主要为大家详细介绍了Python如何使用标准库logging实现多进程安全的日志模块,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下
    2024-01-01
  • 举例讲解Python面向对象编程中类的继承

    举例讲解Python面向对象编程中类的继承

    类是面向对象语言中的标配,同样类的继承也是体现面向对象的重要特性,这里我们就来举例讲解Python面向对象编程中类的继承,需要的朋友可以参考下
    2016-06-06
  • Python入门教程(三十四)Python的文件处理

    Python入门教程(三十四)Python的文件处理

    这篇文章主要介绍了Python入门教程(三十四)Python的文件处理,在Python中处理文件的主要是open()函数,接下来我们就来一起看看open()函数的用法吧,需要的朋友可以参考下
    2023-05-05
  • Python 列表和字典常踩坑即解决方案

    Python 列表和字典常踩坑即解决方案

    这篇文章介绍了 Python 列表和字典常踩坑即解决方案,主要针对python列表和字典得一些问题,提出了多种解决方案。需要的小伙伴可以参考一下
    2022-05-05
  • Django ValuesQuerySet转json方式

    Django ValuesQuerySet转json方式

    这篇文章主要介绍了Django ValuesQuerySet转json方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • Python+OpenCV进行人脸面部表情识别

    Python+OpenCV进行人脸面部表情识别

    这篇文章主要介绍了通过Python OpenCV实现对人脸面部表情识别,判断人是否为笑脸,文中的示例代码非常详细,需要的朋友可以参考一下
    2021-12-12
  • Python中的 No Module named ***问题及解决

    Python中的 No Module named ***问题及解决

    这篇文章主要介绍了Python中的 No Module named ***问题及解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-07-07
  • keras K.function获取某层的输出操作

    keras K.function获取某层的输出操作

    这篇文章主要介绍了keras K.function获取某层的输出操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06

最新评论