如何在Linux上并行执行数千个MySQL“INTO OUTFILE”查询？

我正在尝试使用xargs，但生成的所有查询都需要执行的文件太长，无法作为bash管道参数进行接受。我有我需要执行的所有查询的JSON文件，但我不知道如何并行执行它们。有任何想法吗？如何在Linux上并行执行数千个MySQL“INTO OUTFILE”查询？

2017-01-13 Kyle Hovey

使用'xargs'的主要原因之一是多次运行一个程序，从每次运行的标准输入中尽可能多地获取参数。你如何试图运行'xargs'？ – chepner

看看GNU Parallel。既然你有一个JSON文件，你需要对它进行编组，然后生成INSERT语句。

只要确保你的MySQL服务器可以处理这么多的并发请求。你可能是I/O而不是CPU绑定的

2017-01-13 22:23:22 NinjaGaiden

感谢您的链接。考虑到数据库分布在四个1TB高性能SSD上，我并不太担心I/O。该处理器是一个6核多线程i7，所以8个线程*不应该杀死它。但我可能是错的。 “元帅”是什么意思？ –

元帅的意思，按顺序排列。 – NinjaGaiden

回答