Skip to content

Local LMM

(2024.5)

Macは統合メモリなので、VRAMを利用するLLMを動かしやすいらしい。たっぷりのVRAMを搭載したdGPUは高いけど、MacならApple Siliconでよい。Mac Studio M2 Ultra Unified memory 128GB

Ollamaをインストール

  1. install ollama
  2. terminalで操作する
    1. ollama run llama3 など、HPを参考に使いたいモデルをインストールする、数GBをダウンロードするのに時間がかかる
    2. そのままterminalで使うこともできる。終わるときはcontrol+d (mac)
    3. 再びterminalで使うときは、ollama run llama3　こんどはすぐに起動する。終わるときはcontrol+d (mac)
    4. 下記WebUIを使うと、Terminalでは使わなくなる

Web UIをインストール

  1. Docker Desktopをインストール
  2. Docker Desktopを起動する　初回はメッセージがでて、以下のように進めた
    1. recommand settings
    2. continue without signing in
    3. skip survey
  3. Terminalで以下のコマンドを打つ。ダウンロード等に時間がかかる docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  4. Docker Desktopにいくと、コンテナ：Open-webuiができている
  5. http://localhost:3000 ローカルでアクセス
  6. アカウントを作る、フリをする　名前とメールとパスワード
  7. ログインする、フリをする
  8. 2度目のログインでは、アカウント名やパスワードは問われず。

Web UIを使う

  1. Docker Desktopを起動
  2. Containersより、Open-WebUIを選び、Portsで 3000:8080をクリック
  3. Safariが立ち上がって、http://localhost:3000にアクセスする形で、WebUIが起動する。
  4. Select a model（llama3:70B, command-r-plus 104Bを、ollamaでインストールしておいた）
  5. 会話する

Web UIにログインできない？

  1. Dockerで、コンテナ、イメージ、ボリュームのすべてから、WebUIを削除
  2. ターミナルからやり直す。docker run -d...（上記）
  3. Dockerのコンテナからlocalhostへ。アカウント登録作業をやり直す（上記）
  4. モデルは以前のままリストにでる。ollamaでダウンロードしたもの。