ローカルでAI 民主化が加速？！
外付けGPUでゲームだけでなく、ローカルLLMでの爆速AI体験をして喜んでいます。
が、さらにもう一歩便利になるツールを紹介していたYoutubeで発見。
2MBでOllamaを超えた：Lemonadeがローカルフルスタックを無料で実現する方法
それによると、NVIDIA社のGPUでしか、対応してなかった処理がNPUやAMD社のGPUでも動く ローカルLLMのツールが出たということでした。
しかも、ファイルサイズは圧倒的に小さく8MB?程度でした。
レモネードをインストール、LLM-JPで使ってみた
CNN記事を 日本語翻訳し 1000文字に要約
ということで、レモネードをインストールして使ってみたら9割GPUを使っていて 笑ってしまいました。
個人的な注意事項としては、同じチャット内であっても、中身を覚えてくれていない？ようで継続的に質問し続けることができなかったことです。
これはわたしの何らかの設定ミスかもしれませんし、バージョンが上がれば解消されるかもしれません。いずれにせよ、誰もがやってなかったNVIDIA以外のサポートで、さらに大勢のユーザがオフラインでAIを使えることで、恩恵を受ける人が増えることを喜んでいます。