BULK INSERT 동시에 여러개 실행

향지 2019.01.30 12:22 Views : 1000

안녕하세요.


BULK INSERT 동시에 몇개까지 동시에 실행이 가능한지 테스트 해본 결과를 간단하게 공유해 봅니다.


예전에는 HDD, SSD로 세팅시에 동시에 두세개 정도밖에 못했었는데 NVME가 좀 더 보급되면서 테스트를 해보게 되었습니다.

딱히 복잡한 테스트도 아니고 복잡한 결과가 나온것도 아니라서 간단해지네요.



상황 및 조건

1. INDEX 있음 (TEMP에서 정렬 발생)

2. 각각 수십기가 대량 BULK INSERT

3. 각각 다른 BCP파일, 각각 다른 테이블에 ISNERT (파일 : 테이블 = 1:1)

4. MDF, TEMP 디스크 NVME  (동시에 다수의 BULK INSERT를 받아도 디스크가 밀리지 않게)

5. 넉넉한 CPU 수 (BULK INSERT 1개당 1 CPU 쓰레드 필요)


결과

동시 8개까지는 성능 저하가 거의 없었습니다. (중간중간 짧은 하드웨어 경합으로 약간의 속도 저하)

CPU나 DISK의 성능은 남는 상태였고

9개째부터는 8개때 쓰던 성능 이상을 쓰지 않았고, 장비의 성능이 남지만 속도가 느려지는 BULK INSERT가 생겼습니다.



아마 일반적인 방법으로는 8개 이상 동시에 동작하게 최적화 되어 있지 않은 것 같습니다.


감사합니다.

No. Subject Author Date Views
Notice 2023년 1월 - SQLER의 업데이트 강좌 리스트 코난(김대우) 2023.01.02 1240
2126 SQL Server update on Docker jevida(강성욱) 2019.03.25 426
2125 SQL Server 2017에서 향상된 UDF 실행 계획 jevida(강성욱) 2019.03.25 396
2124 ETL data error with MariaDB ODBC 3.0 (from Aurora to MS SQL) jevida(강성욱) 2019.03.25 554
2123 Run the SQL Server 2017 with Docker jevida(강성욱) 2019.03.25 479
2122 SQL Server Configuration Manager 실행 오류 (WMI 공급자 연결 오류) jevida(강성욱) 2019.03.25 548
» BULK INSERT 동시에 여러개 실행 향지 2019.01.30 1000
2120 대용량 데이터 조인에 대한 고민 ( Hash Join VS Nested Loop Join ) 향지 2018.04.04 4431
2119 How to check if Azure SQL is using In-Memory jevida(강성욱) 2018.03.31 3289
2118 MSSQL-CLI를 활용한 크로스플랫폼에서 SQL Server 관리하기 jevida(강성욱) 2018.03.31 3623
2117 SSMS – Search for execution plan jevida(강성욱) 2018.03.31 3782
2116 SQL Server Parallelism and Wait change (CXAPCKET, CXCONSUMER) jevida(강성욱) 2018.03.31 4056
2115 SQL Server Statistics Update row sampling rate and histogram step jevida(강성욱) 2018.03.31 3710
2114 SSMS – AlwaysOn Group Latency report jevida(강성욱) 2018.03.31 3441
2113 SQL Server 백업 압축의 압축률 확인 jevida(강성욱) 2018.03.31 4198
2112 SQL Server 교착 상태 모니터링 (-T1222) jevida(강성욱) 2018.03.31 4277
2111 SQL Operations Studio - Linux, MAC에서 사용할 수 있는 SQL DBMS 툴 jevida(강성욱) 2018.03.31 3120
2110 SQL Server 2016 Large RAM 및 Checkpoint jevida(강성욱) 2018.03.31 2264
2109 SQL Server 2016 JSON 형식을 일반 ROW 형식으로 반환하 jevida(강성욱) 2018.03.31 1772
2108 model Database 손상시 발생하는 영향 및 복구 방법 jevida(강성욱) 2018.03.31 1229
2107 In-Memory OLTP 사용시 메모리 할당량 초과 오류 jevida(강성욱) 2017.09.13 6842





XE Login