免責
内容の正確性は保証しません。正確な内容を把握したい場合は訴状を探して読んでください。
正直私は事情にあまり詳しくないですが、Hugging Faceが生成AIを調べているときに観測範囲に入るWebサイト（サービス？）なので、エントリにしました。
原告とその概要
名前: FriendliAI Inc.
訴訟の内容:人工知能技術、特に機械学習トランスフォーマー ニューラル ネットワーク モデルに関連する米国特許第 11,442,775 号の侵害に対する民事訴訟。
背景: FriendliAI は、大規模な生成 AI テクノロジーに焦点を当てた先駆的な AI 企業です。彼らは、効率、スループット、待ち時間を最適化する大規模な生成 AI モデル用のサービス エンジンを開発しました。同社は韓国のソウルに拠点を置き、Byung-gon Chun 博士が率いています 。
被告とその概要
名前: Hugging Face, Inc.
背景: Hugging Face は、デラウェア州の法律に基づいて組織された会社で、主な営業所はニューヨーク州ブルックリンにあります。彼らは、Text Generation Inference (TGI) と呼ばれる大規模言語モデル (LLM) 用の推論サーバーを提供しています。
特許とその特許の説明
特許番号: 11,442,775 題名:「トランスフォーマーベースの生成タスクのための推論システムのための動的バッチ処理」 発行日: 2022 年 9 月 13 日 説明:この特許は、トランスフォーマーベースのリクエストのバッチを処理するために使用される新しい方法を対象としており、反復レベル。これにより、バッチ内のすべてのリクエストが完了する前に、完了したリクエストをクライアントに送信したり、新しいリクエストを実行エンジンに送信したりすることができます。このテクノロジーは、遅延やスループットの低さなどの現場の問題を克服しました 。
被疑侵害品
大規模言語モデル (LLM) 用の推論サーバーである Hugging Face の Text Generation Inference (TGI) が、この特許を侵害しているとして告発されています。TGI の「重要な機能」は、「動的バッチ処理」と呼ばれる受信リクエストの継続的なバッチ処理です。これにより、総スループットが向上し、ハードウェアの利用と知覚される遅延の間の最適なバランスが可能になります。
原告が裁判所に求めているもの
訴状には、原告が求めている正確な救済に関する概要ページには具体的な詳細が記載されていない。しかし、特許侵害訴訟としての訴状の性質を考慮すると、原告は損害賠償、差し止めによる救済、そして場合によっては侵害の申し立てに関連するその他の救済を求めている可能性が高い。
米国特許第 11,442,775 号
この特許 (US11442775B1) では、可変入力、ターゲット、または内部状態の長さを持つリクエストのバッチに機械学習トランスフォーマー モデルを適用する推論システムについて説明しています。システムは、トランスフォーマー モデル内の操作のサブセットを選択的にバッチ処理しますが、エンコーダーやデコーダーのアテンション操作など、特定の操作に対するリクエストは個別に処理します。この選択的なバッチ処理により、システムは不必要な計算を回避しながら、ハードウェア アクセラレータの並列計算機能を利用できるようになります。本発明は、特に、機械学習変圧器ニューラルネットワークモデルおよび変圧器モデルの選択的バッチ処理に関する。
