このプロジェクトについて
RustyCSVは、パフォーマンスを最大化するためにRust NIFとして実装された、Elixir用の専門的なCSV解析およびエンコーディングライブラリです。API互換性を維持しながら、SIMD加速、並列解析、バウンドメモリストリーミングなどの高度な機能を導入し、NimbleCSVのドロップイン交換として設計されています。このライブラリは、既存のRust CSVクレートをラップするのではなく、Erlang項に効率的に解析するためにBEAM VMと直接統合し、割り当てオーバーヘッドとスケジューラー負荷を削減します。
主な機能には、3つの解析戦略が含まれます:SIMD(デフォルト、ほとんどのファイルで最速)、並列(大規模または引用符の多いファイル用)、およびストリーミング(バウンドメモリでの無制限データ用)。RustyCSVは、複数のエンコーディング(UTF-8、UTF-16、Latin-1、UTF-32)、マルチセパレーター構成、およびヘッダーからマップへの変換をサポートします。RFC 4180に完全に準拠し、広範なテストスイートで検証されています。このライブラリは、高スループットの同時エクスポートに適したNIF加速エンコーディングも提供し、マルチスレッドシナリオでのメモリ管理を改善するためのオプションのmimallocサポートが含まれています。
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.