主页 > 创业  > 

mysql内置工具导入csv包,简单便捷高效

mysql内置工具导入csv包,简单便捷高效

2025.3.2记,以前不知道csdn搜索如何,写的每篇内容都很细分,后来想想很麻烦

目前考虑设置目录结构,如果仅有其中一个问题,可以直接点击标题,整篇文章不用全看

写作思路就是喜欢说报错原因,解决方法

这篇文章遇到的每一个报错全是我自己经历的

如需转载,标记出处

目录

1.创建一个你想要的数据库

2.创建表/mysqlimport: Error: 1146, Table 'library.ab' doesn't exist, when using table: ab

3.重开终端,用下面的命令

如果出现了下面的报错

(1)mysqlimport: Error: 3948, Loading local data is disabled; this must be enabled on both the client and server sides, when using table: UserBehavior

(2)Undo Log error: No more space left over in system tablespace for allocating UNDO log pages


1.创建一个你想要的数据库

create database uba;

分析导入文件的格式内容

2.创建表/mysqlimport: Error: 1146, Table 'library.ab' doesn't exist, when using table: ab

不然就会收到”mysqlimport: Error: 1146“大礼包

(你的csv文件名和表格名字一摸一样,大小写也是)

use uba; create table userBehavior (userID  BIGINT,itemID BIGINT,categoryID varchar(255),timestamp TIMESTAMP); 3.重开终端,用下面的命令

就是这种普通的终端不是mysql里了

mysqlimport --ignore-lines=1 \             --fields-terminated-by=, \             --local -u root \             -p DataBase \              TableName.csv

根据你自身情况去修改上面的命令,像我只需要改数据库名字和csv文件的名字就好

mysqlimport: MySQL 的一个命令行工具,用来导入数据到 MySQL 表。--ignore-lines=1: 忽略 CSV 文件的第一行,通常用来跳过文件中的标题行。--fields-terminated-by=,: 指定字段分隔符,这里是逗号(,),表示 CSV 文件中的每一列数据是由逗号分隔的。--local: 表示数据文件在本地机器上,而不是数据库服务器上。没有这个参数的话,默认会从服务器上读取文件。-u root: 使用 root 用户连接 MySQL 数据库。-p: 提示输入密码,连接到 MySQL 时需要输入密码。Database: 目标数据库的名称,表示数据将被导入到这个数据库中。TableName.csv: 要导入的 CSV 文件的名称,这里是 TableName.csv。

  如果你数据1G以上,建议先放100条试试,万一出问题还可以改


2025.3.2补充:

注意时间戳这边

如果你和我一样属于csv数据是这种整形类型的要先改成整形,导入数据库之后,再在MYSQL上改回来(目前现在在改中)


至此,你应该已经和现在的我一样等待这个数据的传递成功了,只不过数据太大需要等十几分钟

如果出现了下面的报错 (1)mysqlimport: Error: 3948, Loading local data is disabled; this must be enabled on both the client and server sides, when using table: UserBehavior

别担心,因为我也遇到了哈哈 :)

mysql默认禁用 LOCAL 功能,用 LOAD DATA LOCAL 语句就会被禁止(我记得当时学sql注入的时候就有这个事例,别担心,咱用完再改回来就好)

设置全局变量:

 SET GLOBAL local_infile=1;  quit (2)Undo Log error: No more space left over in system tablespace for allocating UNDO log pages

如果你数据一亿条以上,直接看下面的那个ERROR3,这个不行。

解决办法:

分析: --创建一个新的 undo 表空间: CREATE UNDO TABLESPACE temp_undo_003 ADD DATAFILE 'temp_undo_003.ibu'; -- 创建 `temp_undo_003` 这个 undo 表空间,并为其添加数据文件。 -- 目的是临时提供 undo 作用,确保数据库在后续操作中始终有可用的 undo 表空间。 --设置 `innodb_undo_001` 为 INACTIVE(非活动状态): ALTER UNDO TABLESPACE innodb_undo_001 SET INACTIVE; -- 让 `innodb_undo_001` 进入 `INACTIVE` 状态,意味着它不再接受新的 undo 事务。 -- 等待 `innodb_undo_001` 变成 `empty` 状态: SELECT NAME, STATE FROM INFORMATION_SCHEMA.INNODB_TABLESPACES WHERE NAME = 'innodb_undo_001'; --监测表空间状态,确保 undo 数据已经清空(`STATE = 'empty'`)。 --重新激活 `innodb_undo_001`: ALTER UNDO TABLESPACE innodb_undo_001 SET ACTIVE; -- 使 `innodb_undo_001` 重新可用,但此时它已经完成了手动截断。 -- 对 `innodb_undo_002` 重复上述步骤: --先设置 `INACTIVE`,等待变为空,再设置 `ACTIVE`,完成手动截断。 ALTER UNDO TABLESPACE innodb_undo_002 SET INACTIVE; SELECT NAME, STATE FROM INFORMATION_SCHEMA.INNODB_TABLESPACES WHERE NAME = 'innodb_undo_002'; ALTER UNDO TABLESPACE innodb_undo_001 SET ACTIVE; --当 `innodb_undo_001` 和 `innodb_undo_002` 都被清理后: --关闭并删除 `temp_undo_003`: ALTER UNDO TABLESPACE temp_undo_003 SET INACTIVE; DROP UNDO TABLESPACE temp_undo_003;

MySQL 提供“UNDO 日志文件”来回滚更改的方法。我存了一亿的数据,日志表空间因为事务积累导致文件增大,把它清空就行。

需要至少 2 个活动 undo 表空间,用 temp_undo_003 作为过渡,确保整个过程中始终有可用的 undo 表空间

总结

这个过程是,手动 undo 表空间截断和优化的操作,利用 临时 undo 表空间(temp_undo_003) 来保持数据库稳定性,最终完成 innodb_undo_001 和 innodb_undo_002 的清理,并释放存储空间。

参考文档:

dev.mysql /doc/refman/8.0/en/innodb-undo-tablespaces.html

(3)ERROR 3 (HY000): Error writing file '/tmp/MLfd=35' (OS errno 28 - No space left on device)

删一亿条数据,让回滚段不堪重负,用上面的解决办法也不行

Cannot find an ascendable index in table at /usr/bin/pt-archiver line 3233.  

CREATE INDEX idx_user_id ON userBehavior(userID);

pt-archiver --source h=127.0.0.1,D=uba,t=userBehavior --purge --limit 1000 --commit-each --where 'user_id < NOW() - INTERVAL 1 MONTH' --user root --password 'root'

标签:

mysql内置工具导入csv包,简单便捷高效由讯客互联创业栏目发布,感谢您对讯客互联的认可,以及对我们原创作品以及文章的青睐,非常欢迎各位朋友分享到个人网站或者朋友圈,但转载请说明文章出处“mysql内置工具导入csv包,简单便捷高效