안녕하세요


대용량 데이터 처리 관련해서 질문이 있어서 이렇게 글 남깁니다.


현재 현장에서 1초에 약 9만건 정도의 대용량 데이터가 발생하고 있습니다.


MSSQL 2012 서버로 DB를 구축 예정이고


데이터가 저장되는 테이블의 구조는


측정시간  datetime2(4) PK

측정항목ID tinyint PK

측정값 float Null 허용


이렇게 3개의 column 으로 되어 있습니다.


C# SqlBulkCopy 클래스를 활용해서 약 400ms 정도의 속도로 데이터를 처리하고 있고 기능에는 문제가 없습니다만..


이 데이터들이 쌓이면서 1일 190 G 정도의 데이터가 샇입니다.


양이 너무 많아지다보니 해당 데이터를 어떻게 관리하는 것이 좋은 것일지 고민이 됩니다.


1시간 정도만 테이블에 저장하고 (그래도 8기가 정도 됩니다.)


1시간이 지난 데이터는 HISTORY 테이블을 따로 만들어서 그쪽으로 보관을 할지...


7일 기준으로 이전 데이터는 삭제를 하는 식으로 운용을 생각중입니다만..


삭제시 발생하는 부하도 만만치 않을거 같아서.. 그것도 고민이네요..


현장의 PC는 하드가 SSD 2TB 하나라서 


물리적인 데이터 드라이브 분리도 안되는 상황이고...


장기적인 운용을 위한 좋은 방법이 없을까요?


현재까지 조사한 대로 라면.. Patitioning Table 이라는 것이 그나마 가능성이 보이는데..


데이터가 쌓이는 양과 속도가 장난이 아니라서 년단위가 아닌 일 단위 관리가 될거 같습니다..


그렇게 되면 또 Patitioning Table 관리를 위해 1주일 마다 현장에 들어가야하는 것도 문제가 될거 같네요..


한번 설치하면 그 뒤로는 가급적 유지보수가 발생하지 않도록 설계하고 싶습니다만..


알고 있는 지식이 일천하다보니.. 이렇게 조언을 구합니다.


일단 오늘 현장에 가서 샘플 시연하고 데이터를 얼마나 보관할 것인지 논의가 이루어질 예정입니다만..


현장 데이터의 경우 장비 보관은 불가능할 것을 못박아야할것 같네요.. 1.4 테라 라니.. 후덜덜..


1주일도 못가는 DB 데이터 양은 처음 봅니다..


많은 조언 부탁드립니다..



PS. 현장 PC 사양 입니다.


Intel i7 - 8세대 2.6Ghz

16 GB

SSD 2TB (삼성)


Windows 7 64bit

SQL Server 2012 (설치 예정)


No. Subject Author Date Views
Notice 2023년 1월 - SQLER의 업데이트 강좌 리스트 코난(김대우) 2023.01.02 1247
10341 인사연동 쿼리 질문 드립니다. [4] SQL공부 2018.10.16 1090
10340 오라클과 openquery로 insert 시간이 너무 걸리네요.. 오픈쿼리.. [1] 공유맨 2018.10.16 1000
» DB 설계 조언 좀 부탁드립니다. (1초에 약 9만건) [3] 코난이얌 2018.10.15 881
10338 group by 성능 관련 질문 있습니다. [1] 아잉옹 2018.10.14 738
10337 dbcc checkdb에서 내용 분석해주실 능력자분 찾습니다. 유노 2018.10.12 672
10336 SQL server 입문으로 2012, 2016 상관없나요? [3] 구십평 2018.10.11 728
10335 연속한 데이터 개수 [1] 디비디비 2018.10.10 822
10334 쿼리 문의드려요 [1] 화팅 2018.10.10 696
10333 거래내역 관련 쿼리 문의입니다. [1] 마마마일 2018.10.10 829
10332 DB LOCK 관련 이슈. 뛰어 2018.10.10 664
10331 제약조건 수정 질문드립니다. 베로 2018.10.10 512
10330 sql 질의문 문제 질문 sql러 2018.10.10 829
10329 지수형을 int형으로 변환하는 방 yoni 2018.10.09 659
10328 spid 와 spid의 ip에 관하여 freighter 2018.10.08 619
10327 MSSQL 데이터 일일 데이터 검색 후 순차적 삭제 쿼리 질의 드립니다. [3] 암무거나 2018.10.08 983
10326 쿼리의 Logical Read가 심하게 발생합니다 [1] freighter 2018.10.05 773
10325 쿼리에 대해 질문이 있습니다. [1] 쿼리잘짜고싶다 2018.10.05 664
10324 인덱스 또 질문이 있습니다. [2] 카루카루 2018.10.04 608
10323 테이블 데이터 삭제 時 빈공간 확인 방법? [2] detectol 2018.10.04 832
10322 인덱스 생성 질문입니다. [4] 카루카루 2018.10.02 749





XE Login