BULK INSERT 동시에 여러개 실행

향지 2019.01.30 12:22 Views : 959

안녕하세요.


BULK INSERT 동시에 몇개까지 동시에 실행이 가능한지 테스트 해본 결과를 간단하게 공유해 봅니다.


예전에는 HDD, SSD로 세팅시에 동시에 두세개 정도밖에 못했었는데 NVME가 좀 더 보급되면서 테스트를 해보게 되었습니다.

딱히 복잡한 테스트도 아니고 복잡한 결과가 나온것도 아니라서 간단해지네요.



상황 및 조건

1. INDEX 있음 (TEMP에서 정렬 발생)

2. 각각 수십기가 대량 BULK INSERT

3. 각각 다른 BCP파일, 각각 다른 테이블에 ISNERT (파일 : 테이블 = 1:1)

4. MDF, TEMP 디스크 NVME  (동시에 다수의 BULK INSERT를 받아도 디스크가 밀리지 않게)

5. 넉넉한 CPU 수 (BULK INSERT 1개당 1 CPU 쓰레드 필요)


결과

동시 8개까지는 성능 저하가 거의 없었습니다. (중간중간 짧은 하드웨어 경합으로 약간의 속도 저하)

CPU나 DISK의 성능은 남는 상태였고

9개째부터는 8개때 쓰던 성능 이상을 쓰지 않았고, 장비의 성능이 남지만 속도가 느려지는 BULK INSERT가 생겼습니다.



아마 일반적인 방법으로는 8개 이상 동시에 동작하게 최적화 되어 있지 않은 것 같습니다.


감사합니다.

No. Subject Author Date Views
Notice [IT재직자] 개강임박!! 올해 마지막 무료 및 국비지원 교육 (JAVA, 리눅스 기초/고급 , CCNA, CCIE 등) 코난(김대우) 2022.12.02 440
Notice 2022년 11월 SQLER의 강좌 업데이트 리스트 코난(김대우) 2022.12.01 33
Notice 2022 공개SW 페스티벌 - Open Up 코난(김대우) 2022.12.01 33
2123 Run the SQL Server 2017 with Docker jevida(강성욱) 2019.03.25 464
2122 SQL Server Configuration Manager 실행 오류 (WMI 공급자 연결 오류) jevida(강성욱) 2019.03.25 520
» BULK INSERT 동시에 여러개 실행 향지 2019.01.30 959
2120 대용량 데이터 조인에 대한 고민 ( Hash Join VS Nested Loop Join ) 향지 2018.04.04 4393
2119 How to check if Azure SQL is using In-Memory jevida(강성욱) 2018.03.31 3262
2118 MSSQL-CLI를 활용한 크로스플랫폼에서 SQL Server 관리하기 jevida(강성욱) 2018.03.31 3591
2117 SSMS – Search for execution plan jevida(강성욱) 2018.03.31 3761
2116 SQL Server Parallelism and Wait change (CXAPCKET, CXCONSUMER) jevida(강성욱) 2018.03.31 4021
2115 SQL Server Statistics Update row sampling rate and histogram step jevida(강성욱) 2018.03.31 3683
2114 SSMS – AlwaysOn Group Latency report jevida(강성욱) 2018.03.31 3417
2113 SQL Server 백업 압축의 압축률 확인 jevida(강성욱) 2018.03.31 4169
2112 SQL Server 교착 상태 모니터링 (-T1222) jevida(강성욱) 2018.03.31 4232
2111 SQL Operations Studio - Linux, MAC에서 사용할 수 있는 SQL DBMS 툴 jevida(강성욱) 2018.03.31 3099
2110 SQL Server 2016 Large RAM 및 Checkpoint jevida(강성욱) 2018.03.31 2232
2109 SQL Server 2016 JSON 형식을 일반 ROW 형식으로 반환하 jevida(강성욱) 2018.03.31 1734
2108 model Database 손상시 발생하는 영향 및 복구 방법 jevida(강성욱) 2018.03.31 1211
2107 In-Memory OLTP 사용시 메모리 할당량 초과 오류 jevida(강성욱) 2017.09.13 6802
2106 SQL Server 2016 쿼리 실행에 대한 각 스레드(오퍼레이터) 성능 통계 jevida(강성욱) 2017.09.13 7100
2105 Multisubnet환경의 AG 그룹에서 링크드 서버 사용시 주의점 jevida(강성욱) 2017.09.13 5961
2104 SQL Linux에서 Job Agent 설치 jevida(강성욱) 2017.09.13 5997





XE Login

테스트 팝업
Close