オープンソース。新しい可能性。

オープンソースのLLM駆動ロールプレイシミュレーションエンジン。Electron/NodeJSアプリ。永続的な世界状態、動的なキャラクター進化、スクリプト動作、任意の言語モデルと互換。

Xinferenceは、言語・音声・マルチモーダルモデルの提供に対応した統合推論ライブラリです。OpenAI互換RESTful API、異種GPU/CPU活用、分散配置を提供し、LangChain、LlamaIndex、Dify、Chatboxと連携します。

UL-SMFは、長文脈Transformer推論向けKVキャッシュ圧縮フレームワークであり、FSQと16次元潜在マッピングにより最大384倍の圧縮を主張しています。中核の圧縮ロジックは、プロプライエタリなクローズドソースバイナリを必要とします。