데이터베이스 개발자 Tip & 강좌

SQLER의 개발자들이 만들어가는 데이터베이스 사용자 Tip & 강좌 게시판입니다. SQL서버, Oracle, MySQL 등 여러 클라우드/오픈소스 기반 데이터베이스 개발 및 운영 관련 팁과 쿼리 노하우를 이곳에서 가장 먼저 접하실 수 있습니다. 많은 도움 되시길 바랍니다.

클러스터 컬럼스토어 인덱스(Clusterd Columnstore Index)에서 대량 인서트 작업시 발생하는 래치 경합 최소화 트릭

 

·         Version : SQL Server

 

Clustered Columnstore Index(CCI)에서 데이터를 로드 하는 일반적인 시나리오는 오버헤드가 적은 시간 (일반적으로 야간 시간) 활용해서 수백만개의 행이 포함된 데이터 파일을 로드하는 것이다권장 되는 배치 사이즈는 batchsize >= 102400으로 데이터를 로드 하는것이다배치 사이즈에 대한 내용은 아래 링크를 참고 한다.

·         컬럼스토어 인덱스 대용량 데이터 로드 : http://sqlmvp.kr/220135847446

 

CCI 동시 데이터 스트림을 동일한 델타  그룹으로 허용한다그러나 동시성을 높이면  많은 페이지 래치 경합이 발생한다 델타 RG 내부적으로 클러스터된 b-tree 인덱스로 구성되며 데이터로드는 단순하게 증가하는 클러스터된 인덱스  패턴을 따라 마지막 페이지에서 래치 경합이 발생한다.

·         컬럼스토어 인덱스 INSERT 작업과 동시성 : http://sqlmvp.kr/220132145097

·         컬럼스토어 인덱스 동시성 : http://sqlmvp.kr/220130069090

 

아래 스크립트는 CCI 삽입된 숨겨진  값을 테스트하는 간단한 방법이다.

create table foo (c1 int)

create clustered columnstore index foocci on foo

go

 

insert into foo values (1)

insert into foo values (2)

 

-- check the hidden clustering key index

select %%physloc%% , * from foo

 

 

 값은 <rowgroup-id>, <tuple-id> 나타내는 클리스터된 컬럼스토어 인덱스 행의 숨겨진  열을 나타낸다. <tuple-id> 내부적으로 단순하게 증가하는 숫자로 생성되어 동시 삽입시 페이지 래치 경합을 초래한다.

 

이러한 경합 문제를 해결하기 위한 트릭으로Memory optimized 테이블을 사용할  있다 Memory optimized 테이블을 사용하면PAGE 구조 없이 메모리에 데이터를 유지하도록 구현되므로 마지막 페이지 경합이 제거된다.

 

 트릭을 사용하여 Memory optimized 테이블은102400 행보다  청크로 마이그레이션 하여  델타행 그룹을 사용하지 않을  있다.

 

 

[참고자료]

https://blogs.msdn.microsoft.com/sql_server_team/clustered-columnstore-index-massively-parallel-trickle-insert/

 

 

2018-06-11 / Sungwook Kang / http://sqlmvp.kr / http://sqlangeles.com

 

SQL Server, MS SQL, Columnstore Index, 컬럼스토어 인덱스인덱스 경합래치 경합, page latch contention, 대용량 데이터 로드, bulk data insert



출처: https://sqlmvp.tistory.com/1251?category=618825 [Database Lab]
No. Subject Author Date Views
» 클러스터 컬럼스토어 인덱스(Clusterd Columnstore Index)에서 대량 인서트 작업시 발생하는 래치 경합 최소화 트릭 jevida(강성욱) 2019.03.25 387
2129 SQL Server 2016 향상된 복제 기능 – 배포 데이터베이스 클린업 향상 jevida(강성욱) 2019.03.25 293
2128 SQL Server 2017향상된 복제 기능 – 배포 데이터베이스의 AG 지원 jevida(강성욱) 2019.03.25 439
2127 SQL Server 2017 향상된 복제 기능 - 복제에이전트 프로필 매개변수의 동적 새로 고침 jevida(강성욱) 2019.03.25 492
2126 SQL Server update on Docker jevida(강성욱) 2019.03.25 382
2125 SQL Server 2017에서 향상된 UDF 실행 계획 jevida(강성욱) 2019.03.25 349
2124 ETL data error with MariaDB ODBC 3.0 (from Aurora to MS SQL) jevida(강성욱) 2019.03.25 505
2123 Run the SQL Server 2017 with Docker jevida(강성욱) 2019.03.25 430
2122 SQL Server Configuration Manager 실행 오류 (WMI 공급자 연결 오류) jevida(강성욱) 2019.03.25 466
2121 BULK INSERT 동시에 여러개 실행 향지 2019.01.30 840
2120 대용량 데이터 조인에 대한 고민 ( Hash Join VS Nested Loop Join ) 향지 2018.04.04 4267
2119 How to check if Azure SQL is using In-Memory jevida(강성욱) 2018.03.31 3233
2118 MSSQL-CLI를 활용한 크로스플랫폼에서 SQL Server 관리하기 jevida(강성욱) 2018.03.31 3543
2117 SSMS – Search for execution plan jevida(강성욱) 2018.03.31 3724
2116 SQL Server Parallelism and Wait change (CXAPCKET, CXCONSUMER) jevida(강성욱) 2018.03.31 3924
2115 SQL Server Statistics Update row sampling rate and histogram step jevida(강성욱) 2018.03.31 3616
2114 SSMS – AlwaysOn Group Latency report jevida(강성욱) 2018.03.31 3378
2113 SQL Server 백업 압축의 압축률 확인 jevida(강성욱) 2018.03.31 4106
2112 SQL Server 교착 상태 모니터링 (-T1222) jevida(강성욱) 2018.03.31 4138
2111 SQL Operations Studio - Linux, MAC에서 사용할 수 있는 SQL DBMS 툴 jevida(강성욱) 2018.03.31 3067





XE Login