发布日期：2025-04-13 15:32 点击次数：55
使用ollama deepseek r1 +nomic-embed-text + anythingllm + 本地知识库 喂出一个离线网络安全专家
一、下载Ollama使用Ollama可以大大降低显存需求，消费级的显卡也能运行大模型，官网下载安装即可：https://ollama.com/download
安装 之后状态栏：
图片
image-20250207173335717二、安装DeepSeek-R1模型进入Ollama官网，找到Models标签
图片
image-20250207173406851根据自己的喜好和主机性能选择模型，这里用最近爆火的deepseek
这里以 8b 为例
图片
image-20250207174156563复制下命令后，直接本地cmd运行即可
（不挂代理下载会很慢）
图片
image-20250207173210193下载完成后直接进入了cmd的对话进程
图片
image-20250207174849012下次运行，直接在cmd里面启动就好了
图片
image-20250207175028080Ollama模型的默认存储目录：
C:\Users\用户名\.ollamaC盘不够，可以更改模型存储位置：
设置环境变量OLLAMA_MODELSE:\ai\ollama\models
图片
image-20250208111917343三、安装AnythingLLM下载地址：
https://anythingllm.com/download
默认安装路径
C:\Users\用户\AppData\Local\Programs\AnythingLLM
安装完成后，启动会进入自动引导界面，跟着界面一步步来：
图片
image-20250207221049577这里选择Ollama
用我们刚刚下载的 DeepSeek-R1:8b 大模型
图片
image-20250207221228331一直下一步，然后为工作区起个名字
图片
image-20250207221354106然后即可创建成功
图片
image-20250207221927940然后进行一些设置
LLM首选项这里之前安装的时候已经设置了
图片
image-20250207222044131向量数据库向量数据库不用动即可，使用自带的（ps:如果没有选择安装目录，默认在c盘，如果后续有需要可以挪走）
图片
image-20250207222104439Embedder首选项嵌入模型配置，可以使用自带的
图片
image-20250207223212974也可以通过 Ollama 使用 nomic-embed-text 作为 Embedder （本例使用这个）
ollama pull nomic-embed-text图片
image-20250207223653494图片
image-20250207224056228“Max Embedding Chunk Length” ，定义了在将文本分割成多个块（Chunk）时，每个块的最大长度，数字越小代表文本文件会被切分的更加细致。最好改为128～512之间，这里设置为512
这是DeepSeek 给出的两者的对比：
图片
image-20250207223147682文件相似度阈值最后在当前聊天的设置中将“文档相似性阈值”：
图片
image-20250207224540100这个可以根据实际搜索的内容与知识库的相关性灵活性设置（这里设置为高）
四、投喂文档&使用首先点击上传按钮：
图片
image-20250207225115631支持多种类型的文档，直接拖进来即可（支持直接把文件夹丢过去）
图片
image-20250207230553055最下方支持网址提交，当你输入网址后，点击“Fetch Website”按钮，爬虫就会对指定的网址内容进行爬取。
拖进来之后，全部选中，接着点击“Move to Workspace”，将所有文件移入我们的WorkSpace：
图片
image-20250207230732174最后点击“Save and Embed”按钮等待完成
完成后，返回聊天框，就可以在AnythingLLM中进行基于检索增强生成（RAG）的聊天或问答了
效果：
图片
image-20250208094233555图片
image-20250208094254540图片
image-20250208110722429图片
image-20250208110706686图片
image-20250208111349663 本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。