18 lines
1.1 KiB
Markdown
18 lines
1.1 KiB
Markdown
# insomniaが求めるllmクライアントライブラリ
|
|
|
|
- 前提：
|
|
a. userメッセージを追加しなくてもagentの途中ママ投げれば、AIはそれを自身の生成途中と認識して普通に継続する。
|
|
b. KVキャッシュは速度・効率の面で有利で、基本的にコンテキストを重ねた後での事後的なコンテキストの改変はKVキャッシュヒット率を大幅に下げる
|
|
c. ツール・フックの基本的なスキーマ自動化を提供する
|
|
|
|
以上を前提とし、私が求める性能：
|
|
- メッセージの送信と生成のResume、一時停止/再開が必要。
|
|
- 暗黙的にキャッシュを保証し、キャッシュを破壊しうる操作を明示的にブロックせずとも、いつの間にかキャッシュ破壊してた状態にはしたくない。
|
|
|
|
## 上層の要件
|
|
|
|
おそらく最下層の抽象化レイヤーではなく、その上でやるべき事
|
|
|
|
- Hooksの実装
|
|
- 送信コンテンツの操作やエージェントの生成にしたがって発生するイベントを適切に処理できる仕組み
|