BULK INSERT 동시에 여러개 실행

향지 2019.01.30 12:22 Views : 1101

안녕하세요.


BULK INSERT 동시에 몇개까지 동시에 실행이 가능한지 테스트 해본 결과를 간단하게 공유해 봅니다.


예전에는 HDD, SSD로 세팅시에 동시에 두세개 정도밖에 못했었는데 NVME가 좀 더 보급되면서 테스트를 해보게 되었습니다.

딱히 복잡한 테스트도 아니고 복잡한 결과가 나온것도 아니라서 간단해지네요.



상황 및 조건

1. INDEX 있음 (TEMP에서 정렬 발생)

2. 각각 수십기가 대량 BULK INSERT

3. 각각 다른 BCP파일, 각각 다른 테이블에 ISNERT (파일 : 테이블 = 1:1)

4. MDF, TEMP 디스크 NVME  (동시에 다수의 BULK INSERT를 받아도 디스크가 밀리지 않게)

5. 넉넉한 CPU 수 (BULK INSERT 1개당 1 CPU 쓰레드 필요)


결과

동시 8개까지는 성능 저하가 거의 없었습니다. (중간중간 짧은 하드웨어 경합으로 약간의 속도 저하)

CPU나 DISK의 성능은 남는 상태였고

9개째부터는 8개때 쓰던 성능 이상을 쓰지 않았고, 장비의 성능이 남지만 속도가 느려지는 BULK INSERT가 생겼습니다.



아마 일반적인 방법으로는 8개 이상 동시에 동작하게 최적화 되어 있지 않은 것 같습니다.


감사합니다.

No. Subject Author Date Views
Notice SQL강좌: 챗GPT와 함께 배우는 SQL Server 무료 강좌 목차와 소개 (2023년 9월 업데이트) 코난(김대우) 2023.08.18 42981
Notice Python 무료 강좌 - 기초, 중급, 머신러닝(2023년 6월 업데이트) 코난(김대우) 2021.01.01 22751
2134 Azure SQL에서 네트워크를 구성하는 방법 jevida(강성욱) 2019.03.25 307
2133 SQL Server 네이티브 컴파일된 저장 프로시저 성능 모니터링 jevida(강성욱) 2019.03.25 596
2132 SQL Server 2017 소규모 시스템에서 향상된 리소스 사용 jevida(강성욱) 2019.03.25 342
2131 클러스터 컬럼스토어 인덱스(Clusterd Columnstore Index)에서 대량 인서트 작업시 발생하는 래치 경합 최소화 트릭 jevida(강성욱) 2019.03.25 474
2130 클러스터 컬럼스토어 인덱스(Clusterd Columnstore Index)에서 대량 인서트 작업시 발생하는 래치 경합 최소화 트릭 jevida(강성욱) 2019.03.25 474
2129 SQL Server 2016 향상된 복제 기능 – 배포 데이터베이스 클린업 향상 jevida(강성욱) 2019.03.25 387
2128 SQL Server 2017향상된 복제 기능 – 배포 데이터베이스의 AG 지원 jevida(강성욱) 2019.03.25 526
2127 SQL Server 2017 향상된 복제 기능 - 복제에이전트 프로필 매개변수의 동적 새로 고침 jevida(강성욱) 2019.03.25 559
2126 SQL Server update on Docker jevida(강성욱) 2019.03.25 463
2125 SQL Server 2017에서 향상된 UDF 실행 계획 jevida(강성욱) 2019.03.25 439
2124 ETL data error with MariaDB ODBC 3.0 (from Aurora to MS SQL) jevida(강성욱) 2019.03.25 622
2123 Run the SQL Server 2017 with Docker jevida(강성욱) 2019.03.25 531
2122 SQL Server Configuration Manager 실행 오류 (WMI 공급자 연결 오류) jevida(강성욱) 2019.03.25 653
» BULK INSERT 동시에 여러개 실행 향지 2019.01.30 1101
2120 대용량 데이터 조인에 대한 고민 ( Hash Join VS Nested Loop Join ) 향지 2018.04.04 4548
2119 How to check if Azure SQL is using In-Memory jevida(강성욱) 2018.03.31 3327
2118 MSSQL-CLI를 활용한 크로스플랫폼에서 SQL Server 관리하기 jevida(강성욱) 2018.03.31 3746
2117 SSMS – Search for execution plan jevida(강성욱) 2018.03.31 3827
2116 SQL Server Parallelism and Wait change (CXAPCKET, CXCONSUMER) jevida(강성욱) 2018.03.31 4109
2115 SQL Server Statistics Update row sampling rate and histogram step jevida(강성욱) 2018.03.31 3752





XE Login