안녕하세요.


대용량 데이터 조인에 대해서 조금 다른 방법을 소개해 보겠습니다.


우선 Hash, Nested Loop 조인에 대해서는 알고 계셔야 이해가 되실것 같습니다.


이전 시대와는 다르게 데이터는 상당히 많이 증가했고

디스크도 많이 발전했지만

Standard 라이센스 기준으로 메모리는 증가하지 못했습니다.(128GB)


덕분에 상황에 따라서는 Hash 보다 NL 조인이 빠를수 있는 상황이 한번씩 생기고 있습니다.


조건

1. 메모리보다 훨씬 큰 조인 테이블

2. 적절한 Non-Clustered Index


예를들어 수테라의 데이터는 128G의 메모리에서 Hash Join을 하기 위해서 유예 해시 조인을 하게 됩니다.

이 과정에서 디스크에 수테라 +@(상황에 따라서는 몇배 이상)의 작업이 발생하게 됩니다.

(메모리에 다 못올리는 데이터를 작업하는 알고리즘 비용은 엄청납니다.

크기에 배수가 아니고 제곱처럼 늘어나기도 합니다.)


Nested Loop를 활용할수 있는 적절한 Non-clustered 인덱스를 만들 수 있는 상황에는 

디스크 비용이 줄어서 Hash Join보다 훨씬 빨리 Join을 끝낼 수도 있습니다.


상황에 따라 메모리보다 훨씬 큰 대용량 데이터 설계하실때는 Nested Loop Join도 한번 고려해 볼수도 있을것 같습니다.


감사합니다.




No. Subject Author Date Views
Notice [IT재직자] 개강임박!! 올해 마지막 무료 및 국비지원 교육 (JAVA, 리눅스 기초/고급 , CCNA, CCIE 등) 코난(김대우) 2022.12.02 119
Notice 2022년 11월 SQLER의 강좌 업데이트 리스트 코난(김대우) 2022.12.01 24
Notice 2022 공개SW 페스티벌 - Open Up 코난(김대우) 2022.12.01 15
2123 Run the SQL Server 2017 with Docker jevida(강성욱) 2019.03.25 464
2122 SQL Server Configuration Manager 실행 오류 (WMI 공급자 연결 오류) jevida(강성욱) 2019.03.25 518
2121 BULK INSERT 동시에 여러개 실행 향지 2019.01.30 957
» 대용량 데이터 조인에 대한 고민 ( Hash Join VS Nested Loop Join ) 향지 2018.04.04 4391
2119 How to check if Azure SQL is using In-Memory jevida(강성욱) 2018.03.31 3261
2118 MSSQL-CLI를 활용한 크로스플랫폼에서 SQL Server 관리하기 jevida(강성욱) 2018.03.31 3589
2117 SSMS – Search for execution plan jevida(강성욱) 2018.03.31 3760
2116 SQL Server Parallelism and Wait change (CXAPCKET, CXCONSUMER) jevida(강성욱) 2018.03.31 4020
2115 SQL Server Statistics Update row sampling rate and histogram step jevida(강성욱) 2018.03.31 3679
2114 SSMS – AlwaysOn Group Latency report jevida(강성욱) 2018.03.31 3412
2113 SQL Server 백업 압축의 압축률 확인 jevida(강성욱) 2018.03.31 4168
2112 SQL Server 교착 상태 모니터링 (-T1222) jevida(강성욱) 2018.03.31 4231
2111 SQL Operations Studio - Linux, MAC에서 사용할 수 있는 SQL DBMS 툴 jevida(강성욱) 2018.03.31 3097
2110 SQL Server 2016 Large RAM 및 Checkpoint jevida(강성욱) 2018.03.31 2228
2109 SQL Server 2016 JSON 형식을 일반 ROW 형식으로 반환하 jevida(강성욱) 2018.03.31 1733
2108 model Database 손상시 발생하는 영향 및 복구 방법 jevida(강성욱) 2018.03.31 1210
2107 In-Memory OLTP 사용시 메모리 할당량 초과 오류 jevida(강성욱) 2017.09.13 6799
2106 SQL Server 2016 쿼리 실행에 대한 각 스레드(오퍼레이터) 성능 통계 jevida(강성욱) 2017.09.13 7098
2105 Multisubnet환경의 AG 그룹에서 링크드 서버 사용시 주의점 jevida(강성욱) 2017.09.13 5958
2104 SQL Linux에서 Job Agent 설치 jevida(강성욱) 2017.09.13 5996





XE Login

테스트 팝업
Close