deepresearch

Tongyi DeepResearchは、AlibabaのTongyi Labが公開したオープンソースのエージェント型大規模言語モデルであり、長期的で深い情報探索タスクを目的としています。主力モデルであるTongyi-DeepResearch-30B-A3Bは、総パラメータ30.5B、トークンあたり3.3Bの活性化パラメータ、128Kのコンテキスト長を持ちます。HuggingFaceとModelScopeで利用可能で、ModelScopeとHuggingFace Spacesでのオンラインデモ、Bailianサービスオプション、ローカルGPUなしで推論を可能にするOpenRouter APIエンドポイントも提供されています。 リポジトリには、モデルカード、技術ブログ、arXivレポートに加え、実用的なツールが含まれています。推論フォルダにはReActスタイルのエージェントスクリプトとシェルランナー、評価ディレクトリにはベンチマークスクリプトがあります。セットアップは、分離されたcondaまたはvirtualenv環境でPython 3.10を使用し、requirements.txtから依存関係をインストールし、.envファイルを介してAPIキーを設定します。参照される外部サービスには、ウェブ検索とGoogle Scholar用のSerper、ページ読み取り用のJina、ページ要約用のOpenAI互換API、ファイル解析用のDashscope、Pythonインタープリタサンドボックス用のSandboxFusionエンドポイントが含まれます。 評価データはJSONまたはJSONLで提供でき、各エントリには質問と、自動判定に使用される参照回答が含まれます。文書ベースの質問は、eval_data/file_corpusディレクトリに配置されたファイルを参照できます。READMEには2つの推論パラダイムが記載されています。中核的な本質的能力を評価するためのReActと、テスト時スケーリングを適用するIterResearchベースの「Heavy」モードです。説明されているトレーニング詳細には、完全自動の合成データパイプライン、エージェントデータによる大規模な継続的事前学習、カスタマイズされたGroup Relative Policy Optimizationフレームワークを使用したエンドツーエンドのオンライン強化学習、トークンレベルのポリシー勾配、leave-one-outアドバンテージ推定、ネガティブサンプルのフィルタリングが含まれます。 このプロジェクトはまた、ウェブ横断、自律的情報探索、データ合成、視覚言語研究エージェント、コンテキスト要約、並列思考に関する関連論文を含む、より広範な深層研究エージェントファミリーをリストアップしています。READMEには、Humanity's Last Exam、BrowseComp、BrowseComp-ZH、WebWalkerQA、xbench-DeepSearch、FRAMES、SimpleQAなどのデータセットにわたるベンチマーク結果が言及されていますが、具体的なスコアは画像でのみ示されています。FAQ、引用情報、杭州・北京・上海での研究インターン募集のお知らせも含まれています。