데이터베이스 개발자 Tip & 강좌

SQLER의 개발자들이 만들어가는 데이터베이스 사용자 Tip & 강좌 게시판입니다. SQL서버, Oracle, MySQL 등 여러 클라우드/오픈소스 기반 데이터베이스 개발 및 운영 관련 팁과 쿼리 노하우를 이곳에서 가장 먼저 접하실 수 있습니다. 많은 도움 되시길 바랍니다.

MaxBCPThreads에 따른 BCP 병렬출력

 

  • Version : SQL Server 2005, 2008, 2008R2, 2012

 

BCP 유틸리티(BCP.exe)는 BCP(Bulk Copy Data) API를 사용하는 명령줄 도구이다. BCP는다음과 같은 기능을 수행 할 수 있다.

  • 데이터 파일로 SQL Server 테이블의 데이터를 대량으로 내보낸다.
  • 쿼리의 데이터를 대량으로 내보낸다.
  • SQL server 테이블로 데이터 파일의 데이터를 대량으로 가져온다.
  • 서식 파일을 생성한다.

 

 

BCP를 병렬로 처리하기 위해서 MaxBCPThreads를 지정하여 사용하게 된다. MaxBCPThreads를 0이 아닌 값으로 설정 하여 실행 하였을 때 병렬로 생성되지만 일부 환경에 따라 스냅숏 에이전트는 멀티 스냅숏파일을 생성하지 않았다.

 

조사결과 스냅숏에이전트에 의해 병렬 파일 내보내기에 영향을 미치는 테이블의 통계 분포를 발견 했다. 이는 동시 스냅샷 생성 옵션이 배포 에이전트에 의해 병렬 BCP 스레드의 사용을 방지하도록 되어 있었다.

 

재현을 위해서 세 개의 테이블을 만들었다. tblNewArticle6는 60398행을, tblNewArticle3은 100000행을, tblNewArticle1은 2개의 행을 가지고 있다. 스냅숏 에이전트의 MaxBCPThreads 값은 6으로 설정하였다. tblNewArticle6은 12BCP 파일을, tblNewArticle3은 오직 하나의 BCP 파일이 있다.

 

프로파일러를 이용해서 스냅숏 에이전트데 대한 정보를 찾을 수 있었다. BCP스레드는 로드 순서 및 힌트 파티션을 #으로 표시 하였다.

 

 

또한 테이블에 대해 DBCC SHOW_STATISTICS 실행을 하는 동적 SQL을 확인할 수 있었다.

 

다음 그림은 tblNewArticle6 데이터에 대한 통계 분포이다.

 

 

병렬 BCP 파일 생성은 다음에 해당 하는 경우가능하다.

  • 클러스터된 인덱스의 통계에 사용할 수 있는 여러 개의 범위가 있다.
  • 클러스터된 인덱스는 기본키 열을 정의해야 한다.
  • MaxThreads 값이 1이 아닌 다른 값으로 설정한다.

 

10만행을 가지고 있는 tblNewArticle3에 클러스터된 인덱스와 기본키 열을 정의하여 다음과 같이 병렬 BCP를 처리하도록 하였다. 12개의 병렬BCP가 생성된 것을 확인 할 수 있다.

 

 

[참고자료]

http://troubleshootingsql.com/2013/09/23/maxbcpthreads-not-causing-parallel-export/

 



강성욱 / jevida@naver.com
Microsoft SQL Server MVP
Blog : http://sqlmvp.kr
Facebook : http://facebook.com/sqlmvp

No. Subject Author Date Views
1910 64비트 버전의 SQL Server 버퍼 풀 메모리 페이지 수 줄이는 방법 jevida(강성욱) 2016.10.12 2432
1909 누락된 공유 잠금 (Missing Shared Locks) jevida(강성욱) 2016.10.12 1560
1908 Ad Hoc Distributed Queries 옵션 jevida(강성욱) 2016.10.12 3045
1907 높은 MAXDOP은 쿼리를 느리게 만들 수 있는가? jevida(강성욱) 2016.10.12 1305
1906 변경된 테이블 이름 복구하기 jevida(강성욱) 2016.10.12 1290
1905 Sys,dm_exec_connections jevida(강성욱) 2016.10.12 1908
1904 SQL Server 시작 매개 변수 설정 jevida(강성욱) 2016.10.12 2479
1903 AFTER 트리거를 INSTEAD OF 트리거로 변경 후 효율성 향상 jevida(강성욱) 2016.10.12 1782
1902 쿼리 대기 옵션 jevida(강성욱) 2016.10.12 1564
1901 Index create memory 설정 jevida(강성욱) 2016.10.12 1230
1900 Min memory per query 옵션 jevida(강성욱) 2016.10.12 1677
1899 SQL Server 에디션 다운그레이드와 제한된 기능 확인 jevida(강성욱) 2016.10.12 2121
1898 Downgrade from SQL Server Ent to Std Edition jevida(강성욱) 2016.10.12 1336
1897 트랜잭션 로그 여유 공간 모니터링 jevida(강성욱) 2016.10.12 1342
1896 SQL Server가 서비스 격리를 처리하는 방법 jevida(강성욱) 2016.10.12 1144
1895 쿼리 매개변수화 확인하기 jevida(강성욱) 2016.10.12 1428
1894 SQL Server에서 Drop 및 Delete 사용자 찾기 jevida(강성욱) 2016.10.12 1628
1893 SQL Server 트랜잭션 로그 읽기 jevida(강성욱) 2016.10.12 2067
» MaxBCPThreads에 따른 BCP 병렬출력 jevida(강성욱) 2016.10.11 1088
1891 확장이벤트와 dm_os_wait_stats 대기유형 매핑 jevida(강성욱) 2016.10.11 1883





XE Login