このプロジェクトについて

# Rerun — 物理AIのためのデータレイヤー Rerunは、ロボティクス、シミュレーション、コンピュータビジョンパイプラインからのマルチモーダルかつマルチレートなデータに特化した可視化・ロギングSDKです。ロボットログ、ヒューマンデータリグ、シミュレータ、ウェブビデオなど、多くのソースから画像、点群、トランスフォーム、時系列、関節状態、ビデオをキャプチャし、共有のカラムナストレージに保存します。内蔵ビューアはすべてをリアルタイムで同期レンダリングします。エピソードのスクラブ、センサーのサイドバイサイド比較、CVパイプラインのライブ実行の監視が可能です。同じデータはデータフレームまたはSQLでクエリ可能で、エクスポートジョブや古いコピーなしでトレーニングに直接ストリーミングされます。 Rustで構築。SDKはPython、Rust、C++で利用可能です。 ## 機能 Rerunは、多くのソースと形式(ロボットログ、ヒューマンデータリグ、シミュレーション、ウェブビデオ、MCAP、.rrd、LeRobot)からマルチレートかつマルチモーダルなデータを取り込みます。内蔵ビューアはすべてをリアルタイムで同期レンダリングします。同じデータは[データフレーム](https://rerun.io/docs/howto/query-and-transform/get-data-out)またはSQLでクエリ可能で、トレーニングに直接ストリーミングされます。マルチレート物理データ専用に設計されたカラムチャンクストレージ上にRustで構築されています。 ## クイックスタート ```bash pip install rerun-sdk ``` ```python import rerun as rr rr.init("rerun_example") rr.spawn() rr.log("points", rr.Points3D(positions, colors=colors)) ``` ## ユースケース - ロボットログ、エゴセントリック/UMIリグ、シミュレーション、ウェブビデオを1つの基盤に取り込む - CVパイプライン(SLAM、ハンドトラッキング、モーションリターゲティング)をテーブル編集として実行 - 生データ、中間データ、派生データをデータフレームまたはSQLでクエリ - パイプライン全体でマルチレートかつマルチモーダルなシーケンスを可視化 - データセットミックスをトレーニングに直接ストリーミング — エクスポートジョブなし、古いコピーなし ## データ型 マルチレート、マルチモーダル、空間的:画像、点群、時系列、テンソル、トランスフォーム、関節状態、ビデオ。エンドツーエンドで保存されます。 ## はじめに - [Python](https://www.rerun.io/docs/getting-started/data-in/python): `pip install rerun-sdk` - [Rust](https://www.rerun.io/docs/getting-started/data-in/rust): `cargo add rerun` - [C++](https://www.rerun.io/docs/getting-started/data-in/cpp) Rerun Viewerバイナリは`pip install rerun-sdk`または`cargo install rerun-cli --locked --features nasm`でインストールします。Python SDKにはビューアがバンドルされています。C++とRustは別途インストールが必要です。 ## ドキュメント - [高レベルドキュメント](https://rerun.io/docs) - [ログ可能な型](https://www.rerun.io/docs/reference/types) - [例](https://rerun.io/examples) - [Python APIドキュメント](https://ref.rerun.io/docs/python) - [Rust APIドキュメント](https://docs.rs/rerun/) - [C++ APIドキュメント](https://ref.rerun.io/docs/cpp) - [トラブルシューティング](https://www.rerun.io/docs/overview/installing-rerun/troubleshooting) ## エージェントスキル このリポジトリには、コーディングエージェント向けのエージェントスキルが含まれています。以下でインストールします: ```sh npx skills add rerun-io/rerun ``` スキルは`./skills`にあります。 ## ステータス 活発に開発中。APIは進化しており、破壊的な変更が予想されます。既知の制限:エンティティが非常に多いとビューアのパフォーマンスが低下し、数百万点の点群は遅くなる可能性があります。 ## ビジネスモデル オープンコア。このリポジトリのすべてはオープンソースで無料のままです(MIT + Apache-2.0のデュアルライセンス)。ロボットデータ用のスケーラブルなカタログであるRerun Hubは、ロボティクスおよびCV製品を構築するチーム向けの商用製品です。 ## 引用 ```bibtex @software{RerunSDK, title = {Rerun: A Visualization SDK for Multimodal Data}, author = {{Rerun Development Team}}, url = {https://www.rerun.io}, year = {2024} } ```