人工知能は長年にわたって皆の唇にあり、Nvidiaなどのメーカーはハードウェアで多額のお金を稼いでいます。
AIトレーニング顧客向けの最新のチップブラックウェルB200は、おそらく約30,000〜40,000ドルの費用がかかります。コンピュータベースNvidia CEOのJensen Huangによる特定の相対化にもかかわらず。
代わりに、AIリクエストのローカル計算に関する場合、オックスフォード大学の研究者チームは、非常に古くて遅いハードウェアで驚くべき成功を収めています（経由TechSpot）。
それが起こった：
- 問題のオックスフォードの研究者によって設立された組織EXOラボはxでビデオを分割しました。 350 MHz、128 MByte RAM、Windows 98を備えたPentium IIを備えたPCが表示され、AIモデルが正常に実行されます。
- TechSpotによると、それはaです
強力なAI言語モデル
llama2.cコードに基づいています。この場合、非常に希少な要求を伝えます眠いジョーは言った
短く、合理的に一貫した（本当に賢明ではないにしても）ストーリー、そしてそれはかなり速いです。 - このモデルは、合計260,000のパラメーターで構成されており、これは古いPCによって39.31秒あたり39.31トークンの速度で計算されました。 10億パラメーターを備えたモデルを使用する場合、1秒あたり0.0093トークンしかありません。
トークンとは何ですか？とりわけ、自然言語でAIを扱うとき、それらはエイズとして使用されます。簡単に言えば、単語、単語の一部、句読点、個々の文字など、テキストをより良い部分に分解します。
これらの個々の部品やトークンが1秒あればAIを処理できるほど、問い合わせに対する回答が速くなります。
以下には、AIがWindows 98 PCで作成したテキストの正確な（英語）文言が見つかります。
眠いジョーは言った：「こんにちは、スポット。私に注意したいですか？」スポットはスポットに言った、「はい、私は後退します！」スポットは、「コールドロックで壊れた壊れを失った。大丈夫だよ、できない」と答えた。スプーンとスポットは岩の頂上に行き、壊れた岩を引っ張りました。彼はもう幸運ではなかったので、スポットは悲しかった。しばらく考えて、場所を探しました。彼は言った、「心配しないでください、スプーン、あなたは今日の誰のためにあなたの壊れたドアを作ることができます。
確かに、現在のAIプロバイダーが家に帰るものは何もありません。ここで使用されたひどく限られたハードウェアリソースを考慮して、それはまだ驚くべきことです。
研究者の目標は何ですか？
TechSpotによると、EXO LabsはKIにアクセスしたいと考えています民主化
。比較的低いハードウェア要件は、重要な貢献をする可能性があります。
基本的に、2つの異なるが、密接に隣接する領域を考慮する必要があります。
- 一方では、AIへの問い合わせに必要な根拠を作成するための適切なAIモデルをトレーニングします。
- 一方、これらのAIモデルを使用して関連するユーザー要求を編集します。
どちらの場合も、最低のハードウェア要件は、低いエントリのハードルと必要なエネルギー要件の両方で望ましいです。
EXO Labsのさらなる研究が決定的な貢献をすることができる程度まで見られていない。