主页 / server / 问题 / 975740
Accepted
Bert
Asked: 2019-07-19 03:58:06 +0800 CST

在 SQL 文件中重写数据

  • 772

因此，我在将 MySQL 数据库备份存储在文件中的备份服务器上匿名化数据的解决方案.sql如下：

创建了一个脚本，将.sql文件从备份服务器复制到我的本地工作站，自动将其导入我的数据库服务器，直接匿名敏感数据，将数据库导出到另一个.sql文件，删除原始文件.sql并删除数据库。因此，我最终得到了一个匿名.sql文件。但是，我希望通过直接重写.sql它自己的原始文件中的值来使其更快。

你怎么看，最简单的方法是什么，或者我的解决方案已经是最好的了？正在考虑以某种方式使用该sed命令，但我只是不知道 ATM 如何告诉脚本替换什么，在哪里，多少次以及用什么替换。：/

mysql

3 个回答

  1. Best Answer

    使用 Mysql 可以轻松地将数据导出和导入为 csv。

    因此，可以在循环中使用简单的 shell 命令来操作数据。比解析 sql 容易得多。

    就像一个简单的例子：

    for row in $(cat test.csv);
  col1 = (echo $row | cut -d ',' -f 1);
  col2 = (echo $row | cut -d ',' -f 2);
  col3 = "Value to change"
echo "$col1,$col2,$col3" >> outpu.csv
done
    • 0

  2. 需要考虑的事项：

    • 你“打磁盘”多少次。由于磁盘命中，写入转储文件或 .csv 会花费一些成本。有时一种解决方法是将步骤“管道”在一起。
    • UPDATE就地处理所有事务性的东西；这会导致额外的命中。所以，也许UPDATEing不是最好的方法。
    • CREATE TABLE并DROP TABLE付出一些努力，但不如读取或写入整个表格那么多。

    我会考虑以下（如果它适用于您的情况）：

    CREATE DATABASE AnonDB ...;
USE AnonDB;
CREATE TABLE t1 LIKE RealDB.t1;
INSERT INTO t1
    SELECT id, ok_data, Anonymizer(sensitive_data), ...
        FROM RealDB.t1;
... t2 ...
etc.

    笔记...

    • 最后需要DROP RealDB吗？
    • 您需要功能Anonymizer。
    • 一切都是手动的（要转换哪个表；哪些列；等等）。
    • 没有 CSV 或sed.
    • 0

  3. 最后，您的所有答案都很好，但并没有提高性能并减少为开发人员提供匿名数据库所需的时间。这是我的 bash 脚本：

    #!/bin/bash

if [ -z "$1" ]; then
    echo ""
    echo "No anonymization PHP file present."
    echo "Please create first a project specific anonymization PHP file!"
    echo ""
    exit
fi

if [ -z "$2" ]; then
    echo ""
    echo "You have not specified where the backup SQL files are located"
    echo "Example: /backup/daily-raid/websites/projectnumberone/sqldump/"
    echo ""
    exit
fi

phpconfig=$1
route=$2

file=$(ssh backup "ls -t $route | head -1 && exit")
dbname=$(echo $file | head -c -11)
dbslug=$(echo $dbname | sed -e "s/-/_/g")
createdb="create database $dbslug"
dropdb="drop table $dbslug"


scp backup:$route$file /home/sysadmin/dumps

mysql -u root -e "$dropdb"
mysql -u root -e "$createdb"
mysql -u root $dbslug < /home/sysadmin/dumps/$file

rm -rf /home/sysadmin/dumps/$file

php $phpconfig $dbslug

exit

    请忽略本地数据库服务器 root 没有密码的事实。

    PHP 文件基于以下 GitHub 项目：

    只需创建一个知道哪些数据需要匿名化的 php 文件，然后 bash 脚本就会运行它。OFC 您需要在本地工作站和 MySQL 服务器上安装 PHP。

    • 0

相关问题