데이터베이스 개발자 Tip & 강좌

SQLER의 개발자들이 만들어가는 데이터베이스 사용자 Tip & 강좌 게시판입니다. SQL서버, Oracle, MySQL 등 여러 클라우드/오픈소스 기반 데이터베이스 개발 및 운영 관련 팁과 쿼리 노하우를 이곳에서 가장 먼저 접하실 수 있습니다. 많은 도움 되시길 바랍니다.

BULK INSERT 동시에 여러개 실행

향지 2019.01.30 12:22 Views : 819

안녕하세요.


BULK INSERT 동시에 몇개까지 동시에 실행이 가능한지 테스트 해본 결과를 간단하게 공유해 봅니다.


예전에는 HDD, SSD로 세팅시에 동시에 두세개 정도밖에 못했었는데 NVME가 좀 더 보급되면서 테스트를 해보게 되었습니다.

딱히 복잡한 테스트도 아니고 복잡한 결과가 나온것도 아니라서 간단해지네요.



상황 및 조건

1. INDEX 있음 (TEMP에서 정렬 발생)

2. 각각 수십기가 대량 BULK INSERT

3. 각각 다른 BCP파일, 각각 다른 테이블에 ISNERT (파일 : 테이블 = 1:1)

4. MDF, TEMP 디스크 NVME  (동시에 다수의 BULK INSERT를 받아도 디스크가 밀리지 않게)

5. 넉넉한 CPU 수 (BULK INSERT 1개당 1 CPU 쓰레드 필요)


결과

동시 8개까지는 성능 저하가 거의 없었습니다. (중간중간 짧은 하드웨어 경합으로 약간의 속도 저하)

CPU나 DISK의 성능은 남는 상태였고

9개째부터는 8개때 쓰던 성능 이상을 쓰지 않았고, 장비의 성능이 남지만 속도가 느려지는 BULK INSERT가 생겼습니다.



아마 일반적인 방법으로는 8개 이상 동시에 동작하게 최적화 되어 있지 않은 것 같습니다.


감사합니다.

No. Subject Author Date Views
2130 클러스터 컬럼스토어 인덱스(Clusterd Columnstore Index)에서 대량 인서트 작업시 발생하는 래치 경합 최소화 트릭 jevida(강성욱) 2019.03.25 379
2129 SQL Server 2016 향상된 복제 기능 – 배포 데이터베이스 클린업 향상 jevida(강성욱) 2019.03.25 290
2128 SQL Server 2017향상된 복제 기능 – 배포 데이터베이스의 AG 지원 jevida(강성욱) 2019.03.25 437
2127 SQL Server 2017 향상된 복제 기능 - 복제에이전트 프로필 매개변수의 동적 새로 고침 jevida(강성욱) 2019.03.25 491
2126 SQL Server update on Docker jevida(강성욱) 2019.03.25 381
2125 SQL Server 2017에서 향상된 UDF 실행 계획 jevida(강성욱) 2019.03.25 349
2124 ETL data error with MariaDB ODBC 3.0 (from Aurora to MS SQL) jevida(강성욱) 2019.03.25 499
2123 Run the SQL Server 2017 with Docker jevida(강성욱) 2019.03.25 427
2122 SQL Server Configuration Manager 실행 오류 (WMI 공급자 연결 오류) jevida(강성욱) 2019.03.25 456
» BULK INSERT 동시에 여러개 실행 향지 2019.01.30 819
2120 대용량 데이터 조인에 대한 고민 ( Hash Join VS Nested Loop Join ) 향지 2018.04.04 4257
2119 How to check if Azure SQL is using In-Memory jevida(강성욱) 2018.03.31 3230
2118 MSSQL-CLI를 활용한 크로스플랫폼에서 SQL Server 관리하기 jevida(강성욱) 2018.03.31 3532
2117 SSMS – Search for execution plan jevida(강성욱) 2018.03.31 3720
2116 SQL Server Parallelism and Wait change (CXAPCKET, CXCONSUMER) jevida(강성욱) 2018.03.31 3898
2115 SQL Server Statistics Update row sampling rate and histogram step jevida(강성욱) 2018.03.31 3594
2114 SSMS – AlwaysOn Group Latency report jevida(강성욱) 2018.03.31 3372
2113 SQL Server 백업 압축의 압축률 확인 jevida(강성욱) 2018.03.31 4094
2112 SQL Server 교착 상태 모니터링 (-T1222) jevida(강성욱) 2018.03.31 4116
2111 SQL Operations Studio - Linux, MAC에서 사용할 수 있는 SQL DBMS 툴 jevida(강성욱) 2018.03.31 3066





XE Login