微服务即时通信系统---（七）文件管理子服务

目录

功能设计

模块划分

业务接口/功能示意图

服务实现流程

服务代码实现

封装文件操作模块（utils.hpp）

获取唯一标识ID

文件读操作

文件写操作

编写proto文件

文件元信息

文件管理proto

单文件上传

多文件上传

单文件下载

多文件下载

RPC调用

服务端创建子类（FileManageServiceImpl）完成RPC服务调用函数重写

SingleFileUp（单文件上传）

MultiFileUp（多文件上传）

SingleFileDown（单文件下载）

MultiFileDown（多文件下载）

RPC服务端代码（总）

服务端完成文件管理子服务类（FileManageServer）

注意

实例化服务类对象，启动服务

工程系统构建配置文件（CMakeLists.txt）

服务测试

---

本章节，主要对项目中文件管理子服务模块进行分析、开发与测试。

功能设计

文件管理子服务，主要提供两个功能：文件的上传和文件的下载，因此，文件管理子服务主要提供4个功能性接口：

1、单个文件的上传：主要用于后台，将收到的文件消息进行存储。

2、多个文件的上传：主要用于后台，将收到的文件消息进行存储。

3、单个文件的下载：在后台用于获取头像文件数据，以及客户端用于获取文件数。

4、多个文件的下载：在后台用于大批量获取头像文件数据，以及前端的批量文件下载。

模块划分 参数/配置文件解析模块 基于gflags框架直接使用，进行参数/配置文件的解析。 日志模块 基于spdlog封装的logger 直接进行日志输出。 服务注册模块 基于etcd框架封装的注册模块 直接进行文件管理子服务模块的服务注册。 RPC服务模块 基于brpc框架 搭建文件管理子服务的RPC服务器。 文件操作模块 基于标准库的文件流操作实现文件的读写封装，用于文件操作。 业务接口/功能示意图

文件上传：

文件下载/获取：

服务实现流程 1、实现文件操作模块的封装（utils.hpp），其中包括 文件读操作、文件写操作，外加一个获取唯一标识ID的操作（用于用户ID、文件ID等）。 2、编写服务所需的proto文件，利用protoc工具生成RPC服务器所需的.pb.h 和 .pb.cc 项目文件。 3、服务端 创建子类，继承于proto文件中RPC调用类，并进行功能性接口函数重写。 4、服务端 完成文件管理子服务类。 5、实例化 服务类对象，启动服务。 服务代码实现 封装文件操作模块（utils.hpp） 获取唯一标识ID

在代码中，文件ID、用户ID 或者是 会话ID 都由此处操作来获取。

这里使用16个随机的字符串 组成这个唯一的标识ID。

实现思想：

1、先生成6个 0 ~ 255 内的随机数字，而1 个 字节，为 8位。再将这8位，分成4 4 位，每4位转换成1个16进制数字，从而 1个随机数字 转换成 2个 16位数字。至此，得到12 位 随机16进制字符。

2、再通过一个 静态变量，生成一个2 字节的 编号数字，同样 转换成 4 个 16位数字。至此，得到4位 随机16进制字符。

3、将1和2进行拼接，得到16个随机的字符串。

utils.hpp：

// 生成一个唯一标识ID std::string uuid() { // 1. 生成12位16进制字符 std::random_device rd; // 实例化设备随机数对象, 用于生成设备随机数(唯一性更强) std::mt19937 generator(rd()); // 以设备随机数为种子, 实例化随机数对象(mt19937:一种生成随机数的方式) std::uniform_int_distribution<int> distribution(0, 255); // 限定生成随机数的范围 std::stringstream ss; for (int i = 0; i < 6; ++i) { if (i == 2) ss << "-"; // 添加-, 最终形式为: xxxx-yyyy-zzzz-dddd ss << std::setw(2) << std::setfill('0') << std::hex << distribution(generator); // distribution(generator) : 生成一个 0-255的随机数 // std::hex + std::setw(2) : 转换为 2个 16进制数 // std::setfill('0'): 不足的,前面用0填充 } // 2. 通过静态变量生成 4位 16进制字符 ss << "-"; static std::atomic<short> idx(0); short tmp = idx.fetch_add(1); ss << std::setw(4) << std::setfill('0') << std::hex << tmp; return ss.str(); } 文件读操作

通过传入文件名 和 承接文件内容的string，用来获取文件内容。

实现思想：

1、根据文件名打开文件。

2、跳转文件内部指针，获取文件指针偏移量（文件大小）。

3、再将文件内部指针跳转开头，进行读取文件内容。

4、关闭文件。

utils.hpp：

// 读取文件 bool ReadFile(const std::string &file_name, std::string &body) { std::ifstream ifs(file_name, std::ios::in | std::ios::binary); if (ifs.is_open() == false) { LOG_ERROR("打开文件失败, file_name: {}", file_name); return false; } ifs.seekg(0, std::ios::end); size_t file_size = ifs.tellg(); ifs.seekg(0, std::ios::beg); body.resize(file_size); ifs.read(&body[0], file_size); if (ifs.good() == false) { LOG_ERROR("读取文件失败, file_name: {}", file_name); ifs.close(); return false; } ifs.close(); return true; } 文件写操作

通过传入文件名 和 想要写入的内容，用来向文件写入数据。

实现思想：

1、根据文件名打开文件。

2、写入数据。

3、关闭文件。

utils.hpp：

// 写入文件 bool WriteFile(const std::string &file_name, const std::string &body) { std::ofstream ofs(file_name, std::ios::out | std::ios::binary | std::ios::trunc); // 覆盖式写入 if (ofs.is_open() == false) { LOG_ERROR("打开文件失败, file_name: {}", file_name); return false; } ofs.write(body.c_str(), body.size()); if (ofs.good() == false) { LOG_ERROR("写入文件失败, file_name: {}", file_name); ofs.close(); return false; } ofs.close(); return true; } 编写proto文件 文件元信息

首先对于文件来说，不光需要编写文件的上传/下载的proto文件，文件还需要有它的元信息（文件ID、文件名称、文件大小、文件内容），并且后续用户发送的消息里面，也可能是文件，需要我们进行识别，所以将文件的元信息，单独放在一个proto文件里面（后续用户元信息、会话元信息、图像元信息、语音元信息、字符串消息元信息都放在里面）。统称为 base.proto

文件元信息（FileInfo）成员：

1、file_id：文件ID。

2、file_size：文件大小。

3、file_name：文件名称。

4、file_content：文件内容。

// ------文件元信息------ message FileInfo { optional string file_id = 1; optional int64 file_size = 2; optional string file_name = 3; optional bytes file_content = 4; };

考虑到多文件上传/下载需要repeated的相同信息，所以将文件的上传和下载所需要的信息也放进来。

// ------文件元信息 + 文件上传/下载信息------ message FileInfo { optional string file_id = 1; optional int64 file_size = 2; optional string file_name = 3; optional bytes file_content = 4; }; message FileUpInfo { string file_name = 1; int64 file_size = 2; bytes file_content = 3; }; message FileDownInfo { string file_id = 1; bytes file_content = 2; }; 文件管理proto

既然文件管理模块有4个功能性接口，那么就有4个对应的请求与响应结构，以及最终的PRC调用（fileManage.proto）。

单文件上传

SingleFileUpReq包含成员：

1、请求ID：标识请求的唯一性。

2、文件上传信息：存储文件上传所需信息（文件名、文件大小、文件内容）。

3、用户ID（optional）：标明来自哪个用户。

4、会话ID(optional）：标明来自哪个会话。

SingleFileUpResp包含成员：

1、请求ID：对应请求中的请求ID，标识请求唯一性。

2、成功标识：标识该次请求的处理结果。

3、错误信息（optional）：如果处理出错，记录出错信息。

4、文件元信息：存储文件元信息（文件ID、文件大小、文件名、文件内容）。

// ------单文件上传------ message SingleFileUpReq { string req_id = 1; FileUpInfo file_up_info = 2; optional string user_id = 3; optional string session_id = 4; }; message SingleFileUpResp { string req_id = 1; bool success = 2; optional string err_msg = 3; optional FileInfo file_info = 4; }; 多文件上传

多文件上传和单文件上传没啥不同的，就是里面的文件东西，由列表来构成。

// ------多文件上传------ message MultiFileUpReq { string req_id = 1; repeated FileUpInfo file_up_info_list = 2; optional string user_id = 3; optional string session_id = 4; }; message MultiFileUpResp { string req_id = 1; bool success = 2; optional string err_msg = 3; repeated FileInfo file_info_list = 4; }; 单文件下载

SingleFileDownReq包含成员：

1、请求ID：标识请求的唯一性。

2、文件ID：根据文件ID才能找到文件。

3、用户ID（optional）：标明来自哪个用户。

4、会话ID(optional）：标明来自哪个会话。

SingleFileDownResp包含成员：

1、请求ID：对应请求中的请求ID，标识请求唯一性。

2、成功标识：标识该次请求的处理结果。

3、错误信息（optional）：如果处理出错，记录出错信息。

4、文件下载信息：存储文