AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 175108
Accepted
Jenish Zinzuvadiya
Jenish Zinzuvadiya
Asked: 2017-06-01 22:28:18 +0800 CST2017-06-01 22:28:18 +0800 CST 2017-06-01 22:28:18 +0800 CST

从大平面文件中批量插入前 1000 行

  • 772

我有一个包含数亿行的大型平面文件。我只想插入其中的前 1000 个。我怎样才能做到这一点?

sql-server bulk-insert
  • 1 1 个回答
  • 4445 Views

1 个回答

  • Voted
  1. Best Answer
    John K. N.
    2017-06-02T00:03:35+08:002017-06-02T00:03:35+08:00

    bcp 导入

    您可以在命令提示符下使用 Microsoft SQL Server 的bcp实用程序从庞大的数据文件中导入数据。

    bcp 说明

    bcp 实用程序在 Microsoft SQL Server 实例和用户指定格式的数据文件之间批量复制数据。bcp 实用程序可用于将大量新行导入 SQL Server 表或将数据从表中导出到数据文件中。除非与 queryout 选项一起使用,否则该实用程序不需要 Transact-SQL 知识。要将数据导入表中,您必须使用为该表创建的格式文件或了解表的结构以及对其列有效的数据类型

    示例语法

    C:\> bcp YOUR_TABLE -d YOUR_DB -i INPUT_FILE -S YOUR_SERVER -F 1 -L 1000 -U YOUR_LOGIN -P YOUR_PASSWORD -f FORMAT_FILE
    

    这转化为:

    • bcp
      批量复制程序
    • YOUR_TABLE
      您要将数据导入到的表
    • -d YOUR_DB
      您要连接的数据库的名称
    • -i INPUT_FILE
      大文件的完整路径名和文件名(例如 C:\temp\bigfile.txt)
    • -S YOUR_SERVER
      您要连接的服务器的名称
    • -F number
      导入的第一行
    • -L number
      要导入的最后一行
    • -U YOUR_LOGIN
      SQL Server 登录(或者,您可以使用 -T 进行受信任的连接)
    • -P YOUR_PASSWORD
      SQL Server 登录密码
    • -f FORMAT_FILE
      根据您的表定义,您可能需要一个格式文件,该文件定义要向其中导入数据的表的结构以及 INPUT_FILE 中的分隔符。可以在此处和此处找到有关格式文件的更多信息。

    您的命令应如下所示:

    bcp MEGA_TABLE -d Test_DB -i C:\temp\huge_data.txt -S localhost -F 1 -L 1000 -U sa -P secretnottelling -f c:\temp\huge_data.fmt
    

    bcp 格式文件

    根据表和输入文件的复杂性,您可能必须创建一个单独的 bcp 格式文件来容纳输入文件、目标表或两者中缺少的列。这可以通过在没有格式文件的情况下导出表来实现:

    bcp YOUR_TABLE out c:\temp\sample_data.txt -S localhost -T -d YOUR_TABLE
    

    bcp 会询问您有关格式文件的字段和终止符的一些问题,然后会要求您提供名称:

    Enter the file storage type of field ID [int-null]:
    Enter prefix-length of field ID [1]:
    Enter field terminator [none]:
    
    [multiple iterations]
    
    Enter the file storage type of field Fnct_ID [int-null]:
    Enter prefix-length of field Fnct_ID [1]:
    Enter field terminator [none]: ;
    
    Do you want to save this format information in a file? [Y/n] y
    Host filename [bcp.fmt]: C:\temp\huge_data.fmt
    
    Starting copy...
    
    0 rows copied.
    Network packet size (bytes): 4096
    Clock Time (ms.) Total     : 1
    

    您现在有一个可用于 bcp 导入的目标表的格式文件。

    格式文件看起来有点像这样:

    12.0
    8
    1       SQLINT              1       4       ";"    1     ID                   ""
    2       SQLNCHAR            2       200     ";"    2     Question             Latin1_General_CS_AS
    3       SQLNCHAR            2       200     ";"    3     Link                 Latin1_General_CS_AS
    4       SQLNCHAR            2       100     ";"    4     Tbl                  Latin1_General_CS_AS
    5       SQLNCHAR            2       2000    ";"    5     Info                 Latin1_General_CS_AS
    6       SQLINT              1       4       ";"    6     Tbl_ID               ""
    7       SQLINT              1       4       ";"    7     Src_ID               ""
    8       SQLINT              1       4       ";"    8     Fnct_ID              ""
    

    这只是关于如何使用bcp 实用程序从文件导入数据的基本入门。

    回答

    1. 为您的目标表创建一个格式文件 (*.fmt) usign bcp
    2. 使用 -F 和 -L 参数导入数据
    3. 检查导入

    参考

    • bcp 实用程序(Microsoft Technet)
    • 创建格式文件 (SQL Server) (Microsoft Technet)
    • 使用格式文件将表列映射到数据文件字段 (SQL Server) (Microsoft Technet)

    在您的问题中没有 SQL Server 版本的情况下,我参考了 SQL Server 2012 文档。

    • 6

相关问题

  • SQL Server - 使用聚集索引时如何存储数据页

  • 我需要为每种类型的查询使用单独的索引,还是一个多列索引可以工作?

  • 什么时候应该使用唯一约束而不是唯一索引?

  • 死锁的主要原因是什么,可以预防吗?

  • 如何确定是否需要或需要索引

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve