HDFS应用-后端存储cephfs-java-API

HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。 HDFS适用于如下场景： • 处理海量数据（TB或PB级别以上） • 需要很高的吞吐量 • 需要高可靠性 • 需要很好的可扩展能力

HDFS开发接口简介 HDFS常用概念 • Client HDFS Client主要包括五种方式：JAVA API、C API、Shell、HTTP REST API、WEB UI五种方式，可参考常用API介绍、HDFS Shell命令介绍。 o JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 o C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。 o Shell 提供shell命令完成HDFS文件系统的基本操作。 o HTTP REST API 提供除Shell、Java API和C API以外的其他接口，可通过此接口监控HDFS状态等信息。 o WEB UI 提供Web可视化组件管理界面。

JAVA API HDFS支持使用Java语言进行程序开发，具体的API接口内容请参考HDFS Java API接口介绍。

1.安装ceph依赖 yum install ceph-common yum install librgw-devel librados-devel libradosstripe-devel yum install cephfs-java libcephfs-devel python-cephfs libcephfs_jni-devel

新建文件夹/usr/lib/jni/

mkdir /usr/lib/jni/

将/usr/lib64/关于ceph的文件和 libcephfs_jni对象共享文件拷贝到/usr/lib/jni/

cd /usr/lib64/ cp -rf ceph libcephfs_jni.so libcephfs_jni.so.1 libcephfs_jni.so.1.0.0 libcephfs.so libcephfs.so.2 libcephfs.so.2.0.0 /usr/lib/jni/ 2.java基础环境 java环境配置 export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64 java -version 3.应用开发

maven依赖

<!-- hadoop start --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.3.4</version> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> </exclusion> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-reload4j</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>3.3.4</version> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> </exclusion> <exclusion> <groupId>org.slf4j</groupId>