Running LLMs Locally: A Beginner's Guide to AI on Your Own Computer

Tags: Toolbox · 12 min · Beginner guide

Normally, when you use AI, you open a web page and send your question to someone else's server: their computer does the math and sends the answer back. This article is about another path — downloading an AI model onto your own computer and running it there. You can ask questions without an internet connection, and your chat history never leaves your hard drive.

It sounds cool, but let's be upfront about the cost: your computer needs to be strong enough, and the small models that fit on a computer are not as "smart" as the big models online. This guide gives you 3 methods, from easiest to hardest. Follow along, and you'll be chatting with AI on your own computer tonight.

First, let's be clear: what does running AI locally actually mean?

What it can do:

• Once the model is downloaded, you can use AI to write and ask questions without an internet connection
• Your conversations stay on your computer only — they are never sent to any company
• Free and unlimited — no subscription needed

What it can't do (don't expect this):

• Match the level of big online models. The models that run on your computer are a fraction of the size of online giants, and the gap shows on complex questions
• Run smoothly on old computers or a Raspberry Pi (more on that below)
• Fully replace online AI. Web search, up-to-date knowledge, and complex reasoning are still the strengths of big online models

Remember this bottom line: local = privacy + free + offline, at the cost of smaller models and a harder-working computer. Once you get this, you won't be disappointed later.

And let's be honest about the hardware bar:

• A regular laptop/desktop (16GB RAM): can run small quantized 7B/8B models at an acceptable speed — answers appear word by word
• A Mac with Apple Silicon (M series): the memory architecture suits model inference well, and small models run smoothly
• Raspberry Pi: can only run tiny 1B–3B models, and so slowly you'll question your life choices — it works, but don't rely on it
• An old computer (under 8GB RAM): probably can't handle it — the fan will scream and everything will lag. Don't bother

Method 1: One-click Ollama install, chat in the command line (easiest)

For: people who want the fastest way to experience "AI running on my computer." You just need to not fear the black window and know how to copy and paste.

Ollama is a free tool with one job: it downloads models and runs them for you, all with a single command.

Windows steps:

1. Go to the Ollama website (ollama.com), download the Windows version, and click "Next" all the way through the installer
2. Press Win+R, type cmd, hit Enter to open the command line
3. Type ollama run followed by a model name (pick an 8B one from the model library on their website), then hit Enter. The first run downloads the model file — several GB — so be patient
4. Once the download finishes, start chatting: type your questions in the command line, and the AI on your computer answers

Mac steps:

1. Download the Mac version from the official website and drag it into your Applications folder
2. Open "Terminal" (search for Terminal in Launchpad)
3. Type ollama run + the model name, hit Enter to download, and start chatting

These three commands are all you need:

• ollama run <model name>: downloads and starts a conversation (downloads automatically if you don't have it yet)
• /bye: type this inside the chat to quit
• ollama list: see which models you've already downloaded

It's normal for the first download to take a while — go get a glass of water if your connection is slow. Download once and it works forever, even offline.

Method 2: Add a graphical interface, chat by clicking (friendlier)

For: people who get a headache just looking at a black window. Give Ollama a "face" that looks like the AI chat apps you already use.

Steps (using the free, open-source Chatbox as an example):

1. Install Ollama using Method 1, and download a model with ollama run (the graphical interface doesn't come with models)
2. Download and install Chatbox from its official website (available for Windows and Mac)
3. Open Chatbox, go to Settings, and set the "model provider" to Ollama — it will automatically find the Ollama running on your computer
4. Go back to the chat window, select the model you downloaded, and start typing

The result: an interface just like the ChatGPT web version — with history and model switching — except the work is done by your computer, not the cloud. When you want a bigger model later, just ollama run a new one in Ollama and it will show up in Chatbox.

Method 3: Advanced — rent a GPU in the cloud for big models (when your computer isn't strong enough)

For: people who tried the first two methods, found small models not smart enough, but don't want to spend thousands on a graphics card.

Honest truth: a 70B-scale model won't run on a regular computer. The compromise is renting a GPU cloud server from a cloud provider — billed by the hour, shut it down when you're done, so the experiment stays cheap. The process is almost the same as on your own computer: spin up the machine, install Ollama, ollama run a big model — except the machine lives in the cloud.

This section contains an affiliate link: Vultr offers hourly-billed GPU cloud servers. Signing up through this link may earn this site a commission, at no extra cost to you.

The upside: no hardware to buy, and you get to try big models. The downside: your data goes to the cloud server, so the privacy advantage is gone — and remember to shut the machine down when you're done, or the billing keeps running. Treat this as a temporary way to "try big models," not a long-term setup.

Method comparison

Beginner tip: start with Method 1 or 2 and get "AI running on my computer" working first. Method 3 can wait.

4 beginner pitfalls

Pitfall 1: The model file is several GB — don't assume the download froze

The first ollama run downloads a file of several GB. A slow progress bar doesn't mean it's broken — the file is just big. Download when you have a good connection, and don't close the window at 90%. Download once and it's yours forever.

Pitfall 2: Not enough RAM — your computer just gives up

An 8B quantized model eats roughly 5GB of RAM, plus what the system itself needs, so a 16GB computer handles it comfortably. Force it onto an 8GB old machine and you'll get a slideshow at best, a crash at worst. Check your memory usage in Task Manager first — don't fight your own computer.

Pitfall 3: Small models are weaker at non-English languages and complex reasoning

Ask the same question to a big online model and a small local one, and the local one may answer beside the point. That's not your mistake — small models are just less capable. They're great for rewriting, summarizing, and translating; don't ask them to prove math theorems or write complex code.

Pitfall 4: Thinking "local" means absolute privacy

Model inference really does happen on your computer, and conversations don't go to the model company. But note: some graphical clients come with web search, auto-updates, and crash reporting — features that do send data out. If you truly care about privacy, try using it offline once after setup: if it chats fine with no connection, nothing is being sent behind your back.

3 practice projects (do them tonight)

Project 1: Have the local model rewrite a paragraph

Find a work report or a social media post you wrote, and ask the local model to "make it more concise." This is what small models do best — you'll see results instantly and get a feel for its language skills.

Project 2: First offline Q&A experience

Unplug the network cable (or turn on airplane mode) and ask the local model a few questions: a recipe, a travel plan, help writing an email. Feel what "AI without internet" is like — that's the biggest charm of running models locally.

Project 3: Same question, side by side — local small model vs. big online model

Ask the same question (e.g., "explain what compound interest is") to both the local model and an online AI, and compare the two answers side by side. You'll see directly where the gap is and what local models are good for. Do this comparison once, and you'll know which tool to pick from then on.

Closing: honest words

Running AI locally isn't about replacing big online models — it's about having one more option: no cost, no internet, no handing over your chat history, in exchange for a "good enough" little assistant. Get Method 1 or 2 running first, play with it, then decide whether to bother with cloud big models. With AI, running it once yourself beats reading ten articles.

本地跑大模型新手指南：在自己电脑上跑 AI

Tags: 工具箱 · 12 分钟 · 新手指南

平时你用 AI，都是打开网页、把问题发到别人的服务器上：对方的电脑替你算好，再把答案传回来。这篇文章讲另一条路——把 AI 模型下载到你自己的电脑上运行。不用联网也能问，聊天记录不离开你的硬盘。

听起来很酷，代价也要先说清楚：你的电脑得够强，而且能装进电脑的小模型，"智商"比不过网上的大模型。这篇指南给你 3 种从易到难的方法，照着做，今晚就能在自己电脑上跟 AI 聊上天。

先说清楚：本地跑 AI 到底是什么

它能：

• 模型下载好之后，不联网也能用 AI 写东西、问问题
• 对话内容只存在你的电脑上，不发给任何公司
• 免费、无限次用，不用买会员

它不能（别指望）：

• 跑出在线大模型的水平。你电脑上能跑的模型，个头只有在线大模型的几十分之一，复杂问题上差距明显
• 在老电脑、树莓派上流畅运行（下面细说）
• 完全替代在线 AI。联网搜索、最新知识、复杂推理，还是在线大模型强

记住这条线：本地跑 = 隐私 + 免费 + 离线，代价是模型小、电脑累。想明白这点，后面就不会失望。

顺带把硬件门槛说透，实话实说：

• 普通笔记本/台式机（16GB 内存）：能跑 7B/8B 的量化小模型，速度可以接受，回答一个字一个字往外蹦
• 苹果 M 系列芯片的 Mac：内存架构适合跑模型，小模型跑得挺顺
• 树莓派：只能跑 1B～3B 的极小模型，而且慢到怀疑人生——能跑起来，但别当主力用
• 老电脑（8GB 内存以下）：大概率跑不动，风扇狂转还卡，不建议折腾

方法一：Ollama 一键安装，命令行对话（最省事）

适合：想最快体验"AI 在我电脑上跑起来"的人。不怕黑窗口，会复制粘贴就行。

Ollama 是个免费工具，作用就一个：帮你下载模型、运行模型，一条命令搞定。

Windows 步骤：

1. 打开 Ollama 官网（ollama.com），下载 Windows 版，一路"下一步"安装完
2. 按 Win+R，输入 cmd 回车，打开命令行
3. 输入 ollama run 加上模型名（去官网模型库挑一个 8B 的），回车。第一次会下载模型文件，几个 GB，耐心等
4. 下载完直接开聊：在命令行里打字提问，AI 在你电脑上回答

Mac 步骤：

1. 同样去官网下载 Mac 版，拖进应用程序文件夹
2. 打开"终端"（在启动台里搜 Terminal）
3. 同样输入 ollama run + 模型名，回车下载、开聊

记住这三个命令就够：

• ollama run <模型名>：下载并开始对话（没下载过会自动先下载）
• /bye：在对话里输入这个，退出聊天
• ollama list：看看电脑上已经下载了哪些模型

第一次下载花时间很正常，网速慢就去喝杯水。下载一次永久有效，以后断网也能用。

方法二：配个图形界面，点鼠标对话（更好上手）

适合：看到黑窗口就头疼的人。给 Ollama 配个"脸"，长得跟平时用的 AI 聊天软件差不多。

步骤（以免费开源的 Chatbox 为例）：

1. 先按方法一装好 Ollama，并用 ollama run 下载好一个模型（图形界面自己不带模型）
2. 去 Chatbox 官网下载安装（Windows/Mac 都有）
3. 打开 Chatbox，在设置里把"模型提供方"选成 Ollama，它会自动找到你电脑上跑着的 Ollama
4. 回到聊天窗口，选中你下载好的模型，开始打字聊天

效果：界面跟 ChatGPT 网页版一样，有历史记录、能切换模型，但背后干活的是你电脑，不是云端。以后想换更大的模型，回到 Ollama 里 ollama run 一个新的，Chatbox 里就能选到。

方法三：进阶——去云上租 GPU，跑大模型（电脑不够强时）

适合：试过前两种，觉得小模型不够聪明，但又不想花几万块买显卡的人。

实话：70B 这种大模型，普通电脑跑不动。折中的办法是去云服务商那里租一台带 GPU 的云主机，按小时计费，用完就关掉，实验成本可控。流程跟在自己电脑上差不多：开好机器，装上 Ollama，ollama run 一个大模型，只不过机器在云端。

本段含推广链接：Vultr 提供按小时计费的 GPU 云主机，通过该链接注册本站可能获得佣金，对你的价格没有影响。

这条路的好处是不用买硬件，也能体验大模型；坏处是数据要传到云主机上，隐私优势就没了，而且记得用完关机，不然一直计费。把它当成"体验大模型"的临时方案，别当长期主力。

方法对比

新手建议：从方法一或方法二开始，先把"AI 在我电脑上跑起来"这件事跑通。方法三是后话。

4 个新手常踩的坑

坑 1：模型文件几个 GB，下载时以为卡死了

第一次 ollama run 会下载几个 GB 的文件，进度条走得慢不是坏了，是文件大。找个网好的时间下，别在 90% 的时候关窗口。下载一次永久有效。

坑 2：内存不够，电脑直接罢工

8B 的量化模型大约要吃掉 5GB 内存，再加上系统自己用的，16GB 内存的电脑比较从容。8GB 的老电脑硬上，轻则卡成幻灯片，重则直接闪退。先看一眼任务管理器里的内存占用，别跟自己的电脑较劲。

坑 3：小模型的中文和复杂推理比较弱

同样的问题，在线大模型对答如流，本地小模型可能答非所问。这不是你操作错了，是模型个头小能力就这样。让它干改写、总结、翻译这类活很合适；让它做数学证明、写复杂代码，就别为难它了。

坑 4：以为"本地跑"就等于绝对隐私

模型推理确实在你电脑上，对话不会发给模型公司。但注意：有些图形客户端自带联网搜索、自动更新、崩溃上报，这些功能会往外传数据。真正在意隐私，装好后断网用一次试试——能正常聊，说明确实没偷偷联网。

3 个练手小项目（今晚就能做）

项目 1：让本地模型改写一段话

找一段你写的工作汇报或朋友圈文案，让本地模型"改得更简洁"。这是小模型最擅长的活，立刻能看到效果，顺手检验它的中文水平。

项目 2：离线问答初体验

拔掉网线（或开飞行模式），问本地模型几个问题：菜谱、旅行计划、写邮件。亲身体验"没网也能用 AI"是什么感觉——这就是本地跑最大的魅力。

项目 3：同题对比——本地小模型 vs 在线大模型

同一个问题（比如"解释一下什么是复利"），分别问本地模型和在线 AI，把两个回答并排看。你会直观感受到差距在哪、本地模型适合干什么。这个对比做一次，以后选工具心里就有数了。

结尾：实在话

本地跑 AI 不是为了替代在线大模型，而是多一个选择：不花钱、不联网、不交出聊天记录，换来一个"够用"的小助手。先按方法一或方法二跑起来，玩熟了，再决定要不要折腾云端大模型。AI 这东西，动手跑一次，比看十篇文章管用。

Ejecuta IA en tu propia computadora: guía de LLM locales para principiantes

Etiquetas: Caja de herramientas · 12 min · Guía para principiantes

Normalmente, cuando usas IA, abres una página web y envías tu pregunta al servidor de otra persona: su computadora hace los cálculos y te devuelve la respuesta. Este artículo trata sobre otro camino: descargar un modelo de IA en tu propia computadora y ejecutarlo ahí. Puedes hacer preguntas sin conexión a internet, y tu historial de chat nunca sale de tu disco duro.

Suena genial, pero hablemos claro del costo: tu computadora tiene que ser lo bastante potente, y los modelos pequeños que caben en una computadora no son tan "inteligentes" como los grandes modelos en línea. Esta guía te da 3 métodos, del más fácil al más difícil. Sigue los pasos y esta noche estarás conversando con IA en tu propia computadora.

Primero, dejemos algo claro: ¿qué significa realmente ejecutar IA en local?

Lo que sí puede:

• Una vez descargado el modelo, puedes usar IA para escribir y preguntar sin internet
• Tus conversaciones se quedan solo en tu computadora, no se envían a ninguna empresa
• Gratis e ilimitado, sin pagar suscripción

Lo que no puede (no lo esperes):

• Alcanzar el nivel de los grandes modelos en línea. Los modelos que caben en tu computadora son una fracción del tamaño de los gigantes en línea, y la diferencia se nota en preguntas complejas
• Funcionar con fluidez en computadoras viejas o en una Raspberry Pi (más detalles abajo)
• Reemplazar por completo a la IA en línea. La búsqueda web, el conocimiento actualizado y el razonamiento complejo siguen siendo el fuerte de los grandes modelos en línea

Recuerda esta idea: local = privacidad + gratis + sin conexión, a cambio de modelos más pequeños y una computadora que trabaja duro. Si lo entiendes, no te llevarás decepciones después.

Y hablemos con honestidad del requisito de hardware:

• Una laptop o PC normal (16GB de RAM): puede ejecutar modelos pequeños cuantizados de 7B/8B a una velocidad aceptable — las respuestas aparecen palabra por palabra
• Una Mac con chip de la serie M de Apple: su arquitectura de memoria es ideal para ejecutar modelos, y los modelos pequeños corren muy bien
• Raspberry Pi: solo puede con modelos diminutos de 1B–3B, y tan lento que dudarás de tu existencia — funciona, pero no cuentes con ella como tu opción principal
• Una computadora vieja (menos de 8GB de RAM): probablemente no podrá — el ventilador rugirá y todo se trabará. No pierdas el tiempo

Método 1: Instala Ollama con un clic y conversa en la línea de comandos (lo más fácil)

Para: quienes quieren la forma más rápida de experimentar "IA corriendo en mi computadora". Solo necesitas no temerle a la ventana negra y saber copiar y pegar.

Ollama es una herramienta gratuita con un solo trabajo: descarga modelos y los ejecuta por ti, todo con un solo comando.

Pasos en Windows:

1. Ve al sitio web oficial de Ollama (ollama.com), descarga la versión para Windows y haz clic en "Siguiente" hasta terminar la instalación
2. Pulsa Win+R, escribe cmd y pulsa Enter para abrir la línea de comandos
3. Escribe ollama run seguido del nombre de un modelo (elige uno de 8B en la biblioteca de modelos de su web) y pulsa Enter. La primera vez descargará el archivo del modelo — varios GB — así que ten paciencia
4. Cuando termine la descarga, empieza a conversar: escribe tus preguntas en la línea de comandos y la IA de tu computadora responde

Pasos en Mac:

1. Descarga la versión para Mac desde el sitio oficial y arrástrala a la carpeta Aplicaciones
2. Abre "Terminal" (búscala en el Launchpad)
3. Escribe ollama run + el nombre del modelo, pulsa Enter para descargar y empieza a conversar

Con estos tres comandos basta:

• ollama run <nombre del modelo>: descarga e inicia una conversación (descarga automáticamente si aún no lo tienes)
• /bye: escríbelo dentro del chat para salir
• ollama list: mira qué modelos ya descargaste en tu computadora

Es normal que la primera descarga tome tiempo — ve por un vaso de agua si tu conexión es lenta. Descarga una vez y funciona para siempre, incluso sin conexión.

Método 2: Agrega una interfaz gráfica y conversa con clics (más amigable)

Para: quienes se marean con solo mirar una ventana negra. Dale a Ollama una "cara" parecida a las apps de chat con IA que ya usas.

Pasos (usando Chatbox, gratuito y de código abierto, como ejemplo):

1. Instala Ollama con el Método 1 y descarga un modelo con ollama run (la interfaz gráfica no trae modelos propios)
2. Descarga e instala Chatbox desde su sitio oficial (disponible para Windows y Mac)
3. Abre Chatbox, ve a Ajustes y elige Ollama como "proveedor de modelo" — encontrará automáticamente el Ollama que corre en tu computadora
4. Vuelve a la ventana de chat, selecciona el modelo que descargaste y empieza a escribir

El resultado: una interfaz igual a la versión web de ChatGPT — con historial y cambio de modelos — pero el trabajo lo hace tu computadora, no la nube. Cuando quieras un modelo más grande, solo haz ollama run con uno nuevo en Ollama y aparecerá en Chatbox.

Método 3: Avanzado — alquila una GPU en la nube para modelos grandes (cuando tu computadora no alcanza)

Para: quienes probaron los dos primeros métodos, encontraron que los modelos pequeños no son lo bastante inteligentes, pero no quieren gastar miles en una tarjeta gráfica.

La verdad honesta: un modelo de 70B no corre en una computadora normal. El punto medio es alquilar un servidor en la nube con GPU de un proveedor cloud — facturado por hora, lo apagas cuando terminas y el experimento sale barato. El proceso es casi igual que en tu propia computadora: enciendes la máquina, instalas Ollama, haces ollama run con un modelo grande — solo que la máquina vive en la nube.

Esta sección contiene un enlace de afiliado: Vultr ofrece servidores en la nube con GPU facturados por hora. Registrarte con este enlace puede generar una comisión para este sitio, sin costo adicional para ti.

Lo bueno: no compras hardware y pruebas modelos grandes. Lo malo: tus datos van al servidor en la nube, así que la ventaja de privacidad desaparece — y recuerda apagar la máquina al terminar, o la facturación sigue corriendo. Tómalo como una forma temporal de "probar modelos grandes", no como tu configuración permanente.

Comparación de métodos

Consejo para principiantes: empieza con el Método 1 o el 2 y haz que "IA corriendo en mi computadora" funcione primero. El Método 3 puede esperar.

4 errores típicos de principiantes

Error 1: El archivo del modelo pesa varios GB — no creas que la descarga se congeló

El primer ollama run descarga un archivo de varios GB. Una barra de progreso lenta no significa que se rompió — el archivo es simplemente grande. Descarga cuando tengas buena conexión y no cierres la ventana al 90%. Descarga una vez y es tuyo para siempre.

Error 2: Poca RAM — tu computadora simplemente se rinde

Un modelo cuantizado de 8B consume unos 5GB de RAM, más lo que el sistema necesita, así que una computadora de 16GB lo maneja con comodidad. Forzarlo en una máquina vieja de 8GB te dará una presentación de diapositivas en el mejor caso, un cuelgue en el peor. Revisa el uso de memoria en el Administrador de tareas primero — no pelees con tu propia computadora.

Error 3: Los modelos pequeños son más débiles en razonamiento complejo

Haz la misma pregunta a un gran modelo en línea y a un pequeño modelo local, y el local puede responder cualquier cosa. No es tu error — los modelos pequeños simplemente son menos capaces. Son geniales para reescribir, resumir y traducir; no les pidas demostrar teoremas de matemáticas ni escribir código complejo.

Error 4: Creer que "en local" significa privacidad absoluta

La inferencia del modelo realmente ocurre en tu computadora y las conversaciones no van a la empresa del modelo. Pero ojo: algunos clientes gráficos traen búsqueda web, actualizaciones automáticas e informes de errores — funciones que sí envían datos. Si la privacidad te importa de verdad, prueba usarlo sin conexión una vez después de instalarlo: si conversa bien sin internet, nada se está enviando a tus espaldas.

3 proyectos de práctica (hazlos esta noche)

Proyecto 1: Que el modelo local reescriba un párrafo

Busca un informe de trabajo o una publicación que hayas escrito y pídele al modelo local que "lo haga más conciso". Es lo que mejor hacen los modelos pequeños — verás resultados al instante y calibrarás su nivel de idioma.

Proyecto 2: Primera experiencia de preguntas sin conexión

Desconecta el cable de red (o activa el modo avión) y hazle algunas preguntas al modelo local: una receta, un plan de viaje, ayuda para escribir un correo. Siente lo que es "IA sin internet" — ese es el mayor encanto de ejecutar modelos en local.

Proyecto 3: Misma pregunta, lado a lado — modelo local pequeño vs. gran modelo en línea

Haz la misma pregunta (por ejemplo, "explica qué es el interés compuesto") al modelo local y a una IA en línea, y compara las dos respuestas lado a lado. Verás directamente dónde está la brecha y para qué sirven los modelos locales. Haz esta comparación una vez y sabrás qué herramienta elegir de ahí en adelante.

Cierre: palabras honestas

Ejecutar IA en local no es para reemplazar a los grandes modelos en línea — es tener una opción más: sin costo, sin internet, sin entregar tu historial de chat, a cambio de un pequeño asistente "suficientemente bueno". Pon en marcha el Método 1 o el 2, juega con él y luego decide si vale la pena complicarse con modelos grandes en la nube. Con la IA, ejecutarla una vez tú mismo vale más que leer diez artículos.

ローカルLLM初心者ガイド：自分のPCでAIを動かす

普段あなたがAIを使うときは、Webページを開いて質問を他人のサーバーに送っています。相手のコンピューターが計算して、答えを返してくれる仕組みです。この記事ではもう一つの道を紹介します。AIモデルを自分のコンピューターにダウンロードして動かす方法です。インターネットがなくても質問でき、チャット履歴がハードディスクの外に出ることはありません。

とても魅力的に聞こえますが、代償も先にはっきりさせておきます。あなたのコンピューターは十分にパワフルである必要があり、PCに入る小さなモデルは、ネット上の大きなモデルほど「賢く」ありません。このガイドでは、簡単な順に3つの方法を紹介します。手順どおりに進めれば、今夜には自分のPCでAIと会話できるようになります。

まず確認：ローカルでAIを動かすとはどういうことか

できること：

• モデルをダウンロードすれば、ネットがなくてもAIで文章を書いたり質問したりできます
• 会話内容はあなたのPCの中にだけ保存され、どの企業にも送信されません
• 無料で無制限に使え、サブスクの購入は不要です

できないこと（期待しないでください）：

• オンラインの大規模モデルと同じレベルを出すこと。PCで動くモデルはオンラインの巨大モデルの数十分の一のサイズで、複雑な質問では差がはっきり出ます
• 古いPCやRaspberry Piで快適に動くこと（詳しくは後述します）
• オンラインAIを完全に置き換えること。Web検索、最新知識、複雑な推論は、やはりオンラインの大規模モデルが得意です

この一線を覚えておいてください。ローカル = プライバシー + 無料 + オフライン、その代償は小さなモデルと頑張るPC。これを理解しておけば、後でがっかりすることはありません。

ハードウェアのハードルも正直にお話しします。

• 普通のノートPC・デスクトップ（メモリ16GB）：量子化された7B/8Bの小さなモデルが動きます。速度は許容範囲で、回答が一文字ずつ表示されます
• Appleシリコン（Mシリーズ）搭載のMac：メモリ構造がモデルの実行に向いており、小さなモデルは快適に動きます
• Raspberry Pi：1B～3Bの極小モデルしか動かず、しかも遅すぎて人生を疑うレベルです。動くことは動きますが、主力にはしないでください
• 古いPC（メモリ8GB未満）：動かない可能性が高く、ファンが全力で回ってカクカクになります。無理はおすすめしません

方法1：Ollamaをワンクリックでインストール、コマンドラインで会話（いちばん手軽）

おすすめ：「AIが自分のPCで動く」を最速で体験したい人。黒い画面を怖がらず、コピー＆ペーストができれば大丈夫です。

Ollamaは無料のツールで、役割は一つだけ。モデルのダウンロードと実行を、たった一つのコマンドでやってくれます。

Windowsの手順：

1. Ollamaの公式サイト（ollama.com）を開き、Windows版をダウンロードして、「次へ」をクリックし続けてインストールを完了します
2. Win+Rを押し、cmdと入力してEnterを押し、コマンドラインを開きます
3. ollama run の後にモデル名を入力します（公式サイトのモデルライブラリから8Bのものを選んでください）。初回は数GBのモデルファイルをダウンロードするので、気長に待ちましょう
4. ダウンロードが終わったら、そのまま会話開始です。コマンドラインに質問を入力すると、あなたのPC上のAIが答えてくれます

Macの手順：

1. 公式サイトからMac版をダウンロードし、アプリケーションフォルダにドラッグします
2. 「ターミナル」を開きます（LaunchpadでTerminalと検索）
3. 同じく ollama run + モデル名を入力し、Enterでダウンロードして会話を始めます

覚えるコマンドはこの3つだけで十分です：

• ollama run <モデル名>：ダウンロードして会話を開始します（未ダウンロードなら自動で先にダウンロードします）
• /bye：会話中にこれを入力するとチャットを終了します
• ollama list：PCにダウンロード済みのモデルを確認できます

初回のダウンロードに時間がかかるのは正常です。回線が遅ければお水でも飲みに行きましょう。一度ダウンロードすれば永久に有効で、オフラインでも使えます。

方法2：グラフィカルな画面を用意して、マウスで会話（さらに取っつきやすい）

おすすめ：黒い画面を見ただけで頭が痛くなる人。Ollamaに「顔」を付けて、普段使うAIチャットアプリのような見た目にします。

手順（無料・オープンソースのChatboxを例にします）：

1. まず方法1でOllamaをインストールし、ollama run でモデルをダウンロードしておきます（グラフィカル画面自体にはモデルは付属しません）
2. Chatboxの公式サイトからダウンロードしてインストールします（Windows/Mac両対応）
3. Chatboxを開き、設定で「モデルプロバイダー」をOllamaにします。PC上で動いているOllamaを自動で見つけてくれます
4. チャット画面に戻り、ダウンロードしたモデルを選んで、文字を入力して会話を始めます

できあがり：ChatGPTのWeb版と同じような画面で、履歴もありモデル切替もできますが、裏で働いているのはクラウドではなくあなたのPCです。後でもっと大きなモデルに変えたくなったら、Ollamaで ollama run するだけで、Chatboxに表示されるようになります。

方法3：上級編——クラウドでGPUを借りて大きなモデルを動かす（PCの性能が足りないとき）

おすすめ：最初の2つを試して、小さなモデルでは物足りないと感じたけれど、数十万円のグラフィックボードは買いたくない人。

正直な話：70Bクラスの大きなモデルは普通のPCでは動きません。折衷案として、クラウド事業者からGPU搭載のクラウドサーバーを借ります。時間課金で、使い終わったら止めれば実験コストを抑えられます。手順は自分のPCとほぼ同じです。マシンを起動し、Ollamaを入れ、ollama run で大きなモデルを動かす。違うのはマシンがクラウドにあることだけです。

このセクションにはアフィリエイトリンクが含まれます：Vultr は時間課金のGPUクラウドサーバーを提供しています。このリンクから登録すると当サイトにコミッションが入る場合がありますが、あなたの料金に影響はありません。

良い点：ハードを買わずに大きなモデルを試せます。悪い点：データがクラウドサーバーに送られるのでプライバシーの利点はなくなり、使い終わったら必ず電源を切ることを忘れないでください。課金は止めるまで続きます。「大きなモデルを試す」ための一時的な手段と考え、長期の主力にはしないでください。

方法の比較

初心者へのおすすめ：方法1か方法2から始めて、「AIが自分のPCで動く」をまず実現させましょう。方法3は後回しで大丈夫です。

初心者がよくハマる4つの落とし穴

落とし穴1：モデルファイルは数GB、ダウンロードが固まったと勘違いする

初めての ollama run では数GBのファイルをダウンロードします。プログレスバーが遅いのは壊れたのではなく、ファイルが大きいだけです。回線の良いときにダウンロードし、90%のところでウィンドウを閉じないでください。一度ダウンロードすれば永久に有効です。

落とし穴2：メモリ不足でPCがそのままダウンする

8Bの量子化モデルは約5GBのメモリを消費します。システム分も合わせると、16GBのPCなら余裕があります。8GBの古いPCで無理をすると、軽くてカクカク、重くて強制終了です。まずタスクマネージャーでメモリ使用量を確認しましょう。自分のPCとケンカしないでください。

落とし穴3：小さなモデルは複雑な推論が苦手

同じ質問をオンラインの大規模モデルとローカルの小さなモデルに投げると、小さなモデルは的外れな回答をすることがあります。あなたの操作ミスではなく、モデルが小さいから能力がそうなのです。書き換え・要約・翻訳といった作業は得意ですが、数学の証明や複雑なコード書きは無理をさせないでください。

落とし穴4：「ローカル＝絶対的なプライバシー」と思い込む

モデルの推論は確かにあなたのPC上で行われ、会話がモデル企業に送られることはありません。ただし注意点があります。一部のグラフィカルクライアントにはWeb検索・自動更新・クラッシュレポートなどの機能があり、これらはデータを外部に送信します。本当にプライバシーが気になるなら、セットアップ後に一度ネットを切って使ってみてください。普通に会話できれば、裏でこっそり送信されていない証拠です。

練習プロジェクト3選（今夜できます）

プロジェクト1：ローカルモデルに文章を書き換えさせる

あなたが書いた業務報告やSNS投稿を探し、ローカルモデルに「もっと簡潔に」と書き換えさせてみましょう。小さなモデルが最も得意な作業で、すぐに効果が見え、言語レベルも確認できます。

プロジェクト2：オフラインQ&A初体験

LANケーブルを抜く（または機内モードにする）して、ローカルモデルにいくつか質問してみましょう。レシピ、旅行プラン、メールの書き方など。「ネットなしでAIが使える」とはどういう感覚か、ぜひ体験してください。これがローカル実行のいちばんの魅力です。

プロジェクト3：同じ質問で比較——ローカルの小さなモデル vs オンラインの大規模モデル

同じ質問（例：「複利とは何か説明して」）をローカルモデルとオンラインAIの両方に投げ、2つの回答を並べて見比べます。差がどこにあるか、ローカルモデルが何に向いているかが直感的に分かります。この比較を一度やれば、今後のツール選びに迷わなくなります。

結び：正直な話

ローカルでAIを動かすのは、オンラインの大規模モデルを置き換えるためではありません。もう一つの選択肢を持つためです。お金もネットもチャット履歴も差し出さず、「十分使える」小さなアシスタントを手に入れる。まず方法1か方法2で動かしてみて、慣れてきたらクラウドの大規模モデルに挑戦するかどうか決めましょう。AIは、記事を10本読むより、自分で一度動かしてみる方が身になります。