傻瓜、一站式部署本地大语言模型,大概就是打开电脑 > 双击运行程序 > 开始提问 > 获得 AI 回答这样三步走。
你唯一需要操心的事情,就是挑选模型,然后下载使用,就好了。
>>> 模型https://huggingface.co/lmstudio-community
>>> 镜像地址: https://hf-mirror.com/lmstudio-community
>>> 国内模型:https://www.modelscope.cn/models
直接在目前可用的镜像网站 HF-Mirror 搜索你需要的模型,比如 Meta-Llama-3.1-8B-Instruct-GGUF,然后找到对应的 Files 页面,挑选你需要的模型,点击那个下载按钮
安装模型
%USER%是电脑用户名,不是固定的,自己检查
LM Studio 默认的模型保存路径在 C:Users%USER%lm-studiomodels,可以更换:
不过这里注意,你需要使用 ${Publisher}/${Repository}/${ModelFile}这样的路径结构,如上图第二个红色框框,需要将手动下载的 .gguf 模型文件保存在路径的两级文件夹下才能正确识别。
然后,就能提问了。会自动使用你的 CPU、GPU…
>>> (包含几个热门模型我替你们下载了) <<<
LM-Studio14.89GB
Models14.28GB
Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf4.58GB
Mistral-7B-Instruct-v0.3-IQ3_M.gguf3.06GB
Phi-3.1-mini-4k-instruct-Q3_K_L.gguf1.94GB
Yi-Coder-9B-Chat-Q4_0_4_4.gguf4.69GB
LM-Studio-0.3.2-Setup.exe624.33MB