Ollama入門：Mac/Windows/Linuxで始めるローカルLLM構築ガイド【2026年最新版】

01. はじめに

昨今のAI技術の進化に伴い、ChatGPTやClaudeなどのクラウド型AIサービスはエンジニアの必須ツールとなりました。しかし、企業での開発現場や機密データを扱うプロジェクトにおいては、「セキュリティ」や「コスト」、「レイテンシ」の問題からクラウドサービスを無制限に利用できないケースが増えています。

そこで注目を浴びているのが「ローカルLLM（Local Large Language Model）」です。自分の手元のPCや社内サーバー上でLLMを動作させることで、データプライバシーを完全に保護しながらAI開発を行うことが可能です。そして、そのローカルLLMを最も簡単に導入できるツールとして爆発的な人気を誇るのが「Ollama」です。

本記事では、Ollamaの基礎から具体的なインストール手順、さらにはLlama 3等の最新モデルを動かしてAPI連携するまでのフローを、初心者にも分かりやすく、かつ実務で使えるレベルまで深掘りして解説します。

02. Ollamaの基礎知識・概要

Ollamaとは

macOS, Linux, Windowsで動作するオープンソースのローカルLLMランタイムです。Dockerのように「モデルをプルして実行」というシンプルな思想で作られており、llama.cppをバックエンドに採用することで、Apple SiliconなどのGPUリソースを効率的に活用します。

なぜOllamaが選ばれるのか

ローカルLLMを実行する手段は他にもありますが、Ollamaが圧倒的な支持を得ている理由は以下の3点に集約されます。

圧倒的な手軽さ: 複雑なPython環境構築や依存関係の解消が不要。バイナリ一つで動作します。
Modelfileによる管理: システムプロンプトやパラメータをModelfileという設定ファイルでコードとして管理（IaC）できます。
豊富なライブラリ対応: LangChainやLlamaIndexなどの主要なAIフレームワークが標準でOllamaをサポートしています。

03. 主要機能とインストール詳細

それでは環境構築を進めていきましょう。Ollamaは主要な全OSに対応しています。

macOSへのインストール

Apple Silicon (M1/M2/M3) 搭載のMacであれば、GPUアクセラレーションが自動的に有効になり、非常に高速に動作します。Homebrewを使用するのが最も簡単です。

brew install ollama
# サービスとして起動する場合
brew services start ollama

Linuxへのインストール

UbuntuなどのLinuxディストリビューションでは、以下のカールのワンライナーコマンドでインストールできます。NVIDIA GPUドライバがインストールされていれば自動検知します。

curl -fsSL https://ollama.com/install.sh | sh

Dockerでの運用

Dockerコンテナとして動かすことも一般的です。その場合、GPUを利用するには--gpus=allフラグ（NVIDIA Container Toolkit）が必要になる点に注意してください。

Windowsへのインストール

Windows版も正式リリースされています。公式サイトからインストーラーをダウンロードして実行するだけで、WSL2などを経由せずにネイティブに近いパフォーマンスで動作します。

04. モデルの実行とカスタマイズ

インストールが完了したら、実際にモデルを動かしてみましょう。ここではMeta社のLlama 3 (8B)を使用します。

モデルのダウンロードと実行

ターミナルを開き、以下のコマンドを入力します。初回はモデルデータ（約4.7GB）のダウンロードが行われます。

ollama run llama3

ダウンロードが完了すると対話プロンプト（>>>）が表示されます。日本語で話しかけてみましょう。

>>> こんにちは！自己紹介してください。
こんにちは！私はLlama 3というAIアシスタントです。...

REST APIとしての利用

Ollamaはバックグラウンドでポート11434でAPIサーバーとして待機しています。Pythonからリクエストを送る例を見てみましょう。

import requests
import json

url = "http://localhost:11434/api/generate"
data = {
    "model": "llama3",
    "prompt": "Pythonで現在時刻を表示するコードを書いて",
    "stream": False
}

response = requests.post(url, json=data)
print(response.json()['response'])

このように、非常にシンプルなJSONでやり取りができるため、自作のアプリやチャットボットへの組み込みが容易です。

Modelfileによるカスタマイズ

特定の役割を持たせた「カスタムモデル」を作成するには、Modelfileを使用します。例えば「厳格なコードレビュー担当」を作ってみましょう。

FROM llama3

# システムプロンプトの設定
SYSTEM "あなたは熟練したシニアエンジニアです。コードの安全性とパフォーマンスに焦点を当ててレビューを行ってください。"

# パラメータ設定 (創造性を抑えて厳密に)
PARAMETER temperature 0.1

作成・実行コマンド:

ollama create code-reviewer -f Modelfile
ollama run code-reviewer

05. よくあるエラーと解決策

運用中によく遭遇するトラブルとその解決策をまとめました。

Error: bind: address already in use

原因: 既にOllamaのサーバープロセスがバックグラウンドで起動している状態で、新たにollama serveを実行しようとした場合に発生します。

対策: クライアントコマンド（ollama runなど）は既存のサーバープロセスに自動的に接続するため、サーバーを二重に起動する必要はありません。もし再起動が必要な場合は、既存のプロセスをkillしてください。

推論速度が極端に遅い (CPU Only)

原因: GPUが認識されていない、またはVRAM不足でメインメモリにスワップ（フォールバック）している状態です。

対策: 1. ollama ps などのコマンドはありませんが、実行ログを確認してGPUレイヤーがオフロードされているか確認します。
2. よりパラメータ数の少ないモデル（phi-3やgemma-2bなど）に変更するか、量子化レベルの高いモデル（q4_k_mなど）を利用してメモリ使用量を抑えてください。

06. まとめ

Ollamaは、これまでハードルの高かった「ローカルLLM」の世界を一気に民主化しました。プライバシーを確保しつつ、最新のAIモデルを自由に実験できる環境は、エンジニアにとって強力な武器となります。

Next Action

環境構築ができたら、次は「LangChain」と組み合わせてRAG（Retrieval-Augmented Generation）アプリを作ってみましょう。自分のローカルにあるPDFやメモをAIに読み込ませて回答させるシステムが、驚くほど簡単に実装でます。

ぜひ本記事を参考に、セキュアで高速なAI開発環境を手に入れてください。

なんでも技術ブログ

このブログを検索