GO大模型应用开发框架-

Eino 旨在提供基于 Golang 语言的终极大模型应用开发框架。 它从开源社区中的诸多优秀 LLM 应用开发框架，如 LangChain 和 LlamaIndex 等获取灵感，同时借鉴前沿研究成果与实际应用，提供了一个强调简洁性、可扩展性、可靠性与有效性，且更符合 Go 语言编程惯例的 LLM 应用开发框架。

Eino 提供的价值如下：

精心整理的一系列 组件（component） 抽象与实现，可轻松复用与组合，用于构建 LLM 应用。强大的 编排（orchestration） 框架，为用户承担繁重的类型检查、流式处理、并发管理、切面注入、选项赋值等工作。一套精心设计、注重简洁明了的 API。以集成 流程（flow） 和 示例（example） 形式不断扩充的最佳实践集合。一套实用 工具（DevOps tools），涵盖从可视化开发与调试到在线追踪与评估的整个开发生命周期。

Eino 可在 AI 应用开发周期中的不同阶段，规范、简化和提效：

Development: 开箱即用的 AI 相关组件；常见的 Flow 范式；对并发、异步、流式友好的图编排；完善的流处理能力等。这些均可对 AI 应用的开发提供很大助力。Debugging: 可对图编排的应用，进行可视化的开发调试Deployment: 提供丰富的对 AI 应用的评测能力Maintenance: 提供丰富的切面对 AI 应用进行观测、监控

Demo

/* * Copyright 2024 CloudWeGo Authors * * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * * http:// .apache.org/licenses/LICENSE-2.0 * * Unless required by applicable law or agreed to in writing, software * distributed under the License is distributed on an "AS IS" BASIS, * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. * See the License for the specific language governing permissions and * limitations under the License. */ package main import ( "context" "github /cloudwego/eino-ext/components/model/ollama" "github /cloudwego/eino-ext/components/model/openai" "github /cloudwego/eino/components/model" "github /cloudwego/eino/components/prompt" "github /cloudwego/eino/schema" "io" "log" "os" ) func main() { ctx := context.Background() // 使用模版创建messages log.Printf("===create messages===\n") messages := createMessagesFromTemplate() log.Printf("messages: %+v\n\n", messages) // 创建llm log.Printf("===create llm===\n") cm := createOpenAIChatModel(ctx) // cm := createOllamaChatModel(ctx) log.Printf("create llm success\n\n") log.Printf("===llm generate===\n") result := generate(ctx, cm, messages) log.Printf("result: %+v\n\n", result) log.Printf("===llm stream generate===\n") streamResult := stream(ctx, cm, messages) reportStream(streamResult) } func createMessagesFromTemplate() []*schema.Message { template := createTemplate() // 使用模板生成消息 messages, err := template.Format(context.Background(), map[string]any{ "role": "程序员鼓励师", "style": "积极、温暖且专业", "question": "我的代码一直报错，感觉好沮丧，该怎么办？", // 对话历史（这个例子里模拟两轮对话历史） "chat_history": []*schema.Message{ schema.UserMessage("你好"), schema.AssistantMessage("嘿！我是你的程序员鼓励师！记住，每个优秀的程序员都是从 Debug 中成长起来的。有什么我可以帮你的吗？", nil), schema.UserMessage("我觉得自己写的代码太烂了"), schema.AssistantMessage("每个程序员都经历过这个阶段！重要的是你在不断学习和进步。让我们一起看看代码，我相信通过重构和优化，它会变得更好。记住，Rome wasn't built in a day，代码质量是通过持续改进来提升的。", nil), }, }) if err != nil { log.Fatalf("format template failed: %v\n", err) } return messages } func createOpenAIChatModel(ctx context.Context) model.ChatModel { key := os.Getenv("OPENAI_API_KEY") chatModel, err := openai.NewChatModel(ctx, &openai.ChatModelConfig{ Model: "gpt-4o", // 使用的模型版本 APIKey: key, // OpenAI API 密钥 }) if err != nil { log.Fatalf("create openai chat model failed, err=%v", err) } return chatModel } func reportStream(sr *schema.StreamReader[*schema.Message]) { defer sr.Close() i := 0 for { message, err := sr.Recv() if err == io.EOF { return } if err != nil { log.Fatalf("recv failed: %v", err) } log.Printf("message[%d]: %+v\n", i, message) i++ } } func createOllamaChatModel(ctx context.Context) model.ChatModel { chatModel, err := ollama.NewChatModel(ctx, &ollama.ChatModelConfig{ BaseURL: "http://localhost:11434", // Ollama 服务地址 Model: "llama2", // 模型名称 }) if err != nil { log.Fatalf("create ollama chat model failed: %v", err) } return chatModel } func createTemplate() prompt.ChatTemplate { // 创建模板，使用 FString 格式 return prompt.FromMessages(schema.FString, // 系统消息模板 schema.SystemMessage("你是一个{role}。你需要用{style}的语气回答问题。你的目标是帮助程序员保持积极乐观的心态，提供技术建议的同时也要关注他们的心理健康。"), // 插入需要的对话历史（新对话的话这里不填） schema.MessagesPlaceholder("chat_history", true), // 用户消息模板 schema.UserMessage("问题: {question}"), ) } func generate(ctx context.Context, llm model.ChatModel, in []*schema.Message) *schema.Message { result, err := llm.Generate(ctx, in) if err != nil { log.Fatalf("llm generate failed: %v", err) } return result } func stream(ctx context.Context, llm model.ChatModel, in []*schema.Message) *schema.StreamReader[*schema.Message] { result, err := llm.Stream(ctx, in) if err != nil { log.Fatalf("llm generate failed: %v", err) } return result }

支持的模型：

openai: ChatModel - OpenAIark: ChatModel - ARKollama: ChatModel - Ollama

官网地址：Eino: 概述 | CloudWeGo