.NET实现ChatGPT的Stream传输的过程

 更新时间:2023年07月27日 08:41:24   作者:tokengo  
这篇文章主要介绍了.NET如何实现ChatGPT的Stream传输,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

ChatGPT是如何实现不适用websocket进行一个一个字返回到前端的?

下面我们会介绍一下EventSource

EventSource

EventSource 接口是 web 内容与服务器发送事件通信的接口。

一个 EventSource 实例会对 HTTP 服务器开启一个持久化的连接,以 text/event-stream 格式发送事件,此连接会一直保持开启直到通过调用 EventSource.close() 关闭。

EventTarget <= EventSource

一旦连接开启,来自服务端传入的消息会以事件的形式分发至你代码中。如果接收消息中有一个 event 字段,触发的事件与 event 字段的值相同。如果不存在 event 字段,则将触发通用的 message 事件。

与 WebSocket 不同的是,服务器发送事件是单向的。数据消息只能从服务端到发送到客户端(如用户的浏览器)。这使其成为不需要从客户端往服务器发送消息的情况下的最佳选择。例如,对于处理如社交媒体状态更新、消息来源(news feed)或将数据传递到客户端存储机制(如 IndexedDB 或 web 存储)之类的,EventSource 无疑是一个有效方案。

使用场景

  • ChatGPT的Stream式对话,可以一个字一个字相应,增加用户体验
  • 简单的大数据量的数据进行推送到客户端
  • 耗时并且持续化的数据传输

ASP.NET Core 实现

创建WebApi项目

Controllers中新建一个StreamController.cs文件,并且提供一个IAsyncEnumerable<out T>的Demo

  • IAsyncEnumerable<out T>
    • 公开对指定类型的值提供异步迭代的枚举器。

StreamController.cs

using Microsoft.AspNetCore.Mvc;

namespace WebApplication1.Controllers;

[ApiController]
[Route("[controller]")]
public class StreamController : ControllerBase
{
    [HttpPost]
    public async IAsyncEnumerable&lt;char&gt; Test()
    {
        const string value = "这是一个完整的测试数据;为了测试IAsyncEnumerable&lt;T&gt;的使用";

        foreach (var v in value)
        {
            await Task.Delay(500);
            yield return v;
        }

        await Task.CompletedTask;
    }
}

上面案例的接口使用了IAsyncEnumerable<char>,作为返回值,将value字符串一个一个字符返回到前端。

每次返回等待500,这是服务端的实现,下面写客户端的实现,客户端也是用.NET

使用js实现调用

首先启动api服务,然后在打开的swagger的浏览器界面中打开开发者工具使用F12打开开发者工具

在控制台中添加fetchAsStream方法用于调用IAsyncEnumerable<char>的接口服务,代码如下

async function fetchAsStream(url,data) {
    const response = await fetch(url, {
      method: "POST",
      headers: {
        "Content-Type": "application/json"
      },
      body: JSON.stringify(data),
    });
    if (!response.ok) {
      const reader = response.body?.getReader();
      const { done, value } = await reader.read();
      throw new Error(
        `Failed to fetch `
      );
    }
    if (!response.body) {
      throw new Error("ReadableStream not supported in this browser.");
    }

    const reader = response.body.getReader();
    return {
      [Symbol.asyncIterator]() {
        return {
          async next() {
            const { done, value } = await reader.read();
            if (done) {
              return { done: true, value: null };
            }
            return {
              done: false,
              value: new TextDecoder("utf-8").decode(value),
            };
          },
        };
      },
    };

  }

输入完成按回车键会显示一个undefined

然后下一步就调用这个方法,当执行下面这个代码会发现控制台会一个一个字显示内容。

var stream =  await fetchAsStream("http://localhost:5255/stream");

for await(var c of stream){
    console.log(c);
}

看效果控制台的字在一个一个输出,请注意不要使用axios,默认是不支持的。

到此这篇关于.NET 如何实现ChatGPT的Stream传输的文章就介绍到这了,更多相关.NET  Stream传输内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Asp.Net中文本换行

    Asp.Net中文本换行

    Asp.Net中文本换行...
    2007-04-04
  • ASP.NET.4.5.1+MVC5.0设置系统角色与权限(二)

    ASP.NET.4.5.1+MVC5.0设置系统角色与权限(二)

    这篇文章主要介绍了使用ASP.NET.4.5.1+MVC5.0构建项目中设置系统角色的全部过程,十分的详细,附上全部源码,推荐给想学习.net+mvc的小伙伴们
    2015-01-01
  • 为密码文本框要求不可粘帖字符串只可手动输入(附演示动画)

    为密码文本框要求不可粘帖字符串只可手动输入(附演示动画)

    以前开发程序时,用户登录的密码文本框,是可以粘帖密码字符串的,为了安全起见用户要求不要粘帖,只能由手动输入,感兴趣的朋友可以了解下
    2013-01-01
  • 使用NLog给Asp.Net Core做请求监控的方法

    使用NLog给Asp.Net Core做请求监控的方法

    这篇文章主要介绍了使用NLog给Asp.Net Core做请求监控的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-05-05
  • asp.net自动更新组件分享

    asp.net自动更新组件分享

    前两天在博客上发布了一篇英文的自动更新组件文章Release a AutoUpdater tool,那么在这篇文章中,我们也对其功能进行一些简单说明,这个组件非常简单,所以大家可以下载进行一些改进。
    2010-10-10
  • Asp.net core中RedisMQ的简单应用实现

    Asp.net core中RedisMQ的简单应用实现

    这篇文章主要介绍了Asp.net core中RedisMQ的简单应用实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • asp.net 页面中添加普通视频的几种方式介绍

    asp.net 页面中添加普通视频的几种方式介绍

    一是通过调用window media player进行播放,二是通过调用replayer进行播放,三是通过调用flashplayer进行播放
    2014-08-08
  • ASP.NET使用TreeView显示文件的方法

    ASP.NET使用TreeView显示文件的方法

    这篇文章主要介绍了ASP.NET使用TreeView显示文件的方法,包括控件的使用、页面加载代码及节点事件,是WEB应用程序中非常实用的技巧,需要的朋友可以参考下
    2014-09-09
  • .NET Core(.NET6)中gRPC使用实践

    .NET Core(.NET6)中gRPC使用实践

    gRPC是高性能的远程过程调用(RPC)框架,本文主要介绍了.NET Core(.NET6)中gRPC使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-04-04
  • .NET性能优化之为结构体数组使用StructLinq的问题解析

    .NET性能优化之为结构体数组使用StructLinq的问题解析

    这篇文章主要介绍了.NET性能优化为结构体数组使用StructLinq,本系列的主要目的是告诉大家在遇到性能问题时,有哪些方案可以去优化;并不是要求大家一开始就使用这些方案来提升性能,需要的朋友可以参考下
    2022-05-05

最新评论