主页 > 创业  > 

Ollama开发指南

Ollama开发指南

文章来源:开发指南 - Ollama中文文档|Ollama官方文档 

安装先决条件:

GOC/C++ 编译器,例如 macOS 上的 Clang、TDM-GCC (Windows amd64) 或 llvm-mingw (Windows arm64)、Linux 上的 GCC/Clang。

然后从仓库的根目录构建并运行 Ollama:

go run . serve macOS (Apple Silicon)

macOS Apple Silicon 支持内置于 Ollama 二进制文件中的 Metal。无需执行其他步骤。

macOS (英特尔)

安装先决条件:

CMake 或brew install cmake

然后,配置并构建项目:

cmake -B build cmake --build build

最后,运行 Ollama:

go run . serve Windows

安装先决条件:

CMakeVisual Studio 2022 包括本机桌面工作负载(可选)AMD GPU 支持 ROCm忍者 (可选)NVIDIA GPU 支持 CUDA 开发工具包

[!重要] 在运行 CMake 之前,请确保满足先决条件。PATH

[!重要] ROCm 与 Visual Studio CMake 生成器不兼容。在配置项目时使用。-GNinja

[!重要] CUDA 仅与 Visual Studio CMake 生成器兼容。

然后,配置并构建项目:

cmake -B build cmake --build build --config Release

最后,运行 Ollama:

go run . serve Windows (ARM)

Windows ARM 目前不支持其他加速库。

Linux

安装先决条件:

CMake 或sudo apt install cmakesudo dnf install cmake(可选)AMD GPU 支持 ROCm (可选)NVIDIA GPU 支持 CUDA 开发工具包

[!重要] 在运行 CMake 之前,请确保满足先决条件。PATH

然后,配置并构建项目:

cmake -B build cmake --build build

最后,运行 Ollama:

go run . serve docker docker build . ROCm docker build --build-arg FLAVOR=rocm . 运行测试

要运行测试,请使用 :go test

go test ./... 文库检测

Ollama 在以下路径中查找相对于可执行文件的加速库:ollama

./lib/ollama(Windows)../lib/ollama(Linux).(macOS)build/lib/ollama(用于开发)

如果未找到这些库,Ollama 将不会与任何加速库一起运行。

文章来源:开发指南 - Ollama中文文档|Ollama官方文档

标签:

Ollama开发指南由讯客互联创业栏目发布,感谢您对讯客互联的认可,以及对我们原创作品以及文章的青睐,非常欢迎各位朋友分享到个人网站或者朋友圈,但转载请说明文章出处“Ollama开发指南