Vue 解决 LLM 对话过长问题:使用 markstream

先看一张截图。

iArchi 在 X 上回答「LLM 聊天变成长会话怎么办」:版本答案是使用 markstream

之前见过这个vue如何解决LLM对话过长问题,那条回复说的是答案:

LLM 聊天很容易变成长会话。节点数量会持续膨胀。虚拟滚动,只渲染当前屏幕看到的内容。其它只占位。

—— 版本答案是 使用 markstream,此题应 @simon_he1995

「虚拟滚动」这四个字在列表场景里是老生常谈,但把它搬到 LLM 聊天里,有一个前提条件会被打破。这篇就把这两句话中间的推理补上,再说怎么落地。

用到的组件是 markstream-vue,文档在 markstream.simonhe.me。示例项目是一个能跑起来的最小聊天 Demo:Vue 3 + Vite,消息列表交给 MarkstreamVirtualTimeline,正文交给 MarkdownRender。

阅读更多