ETL data error with MariaDB ODBC 3.0 (from Aurora to MS SQL)

 

·      Version : SQL Server 2016, AWS Aurora, Maria ODBC 3.0

 

최근 다양한 DB환경이 구성되면서 DW(Data Warehouse) 구축할 , ETL 작업 또한 이기종 DB (데이터베이스가 다른 종류간의 ETL) 작업이 증가하는 추세이다필자는 현재 다양한 데이터베이스를 구축 운영하고 있으며 MySQL 에서 MS SQL  ETL과정중 예기치 못한 데이터 오류가 많이 발생 하였다. AWS 있는 Aurora (MySQL 5.6) 데이터 원본에서MS SQL Server ETL하는 과정에서 Decimal값이 정상적으로 표시되지 않고 /100 값으로 변환되어 출력되어지는 문제점이 발견되었다.


 

ETL방식은 SQL Server에서 MariaDB ODBC 3.0 Driver 사용하여 AWS Aurora 데이터베이스 데이터를 오픈 쿼리 방식으로 가져온다모든 데이터에 대해서 /100 으로 변환되지는 않으며 decimal 데이터 타입에서만 변환되는것을 확인하였다구글에서 Maria odbc decimal error  검색해보니 이미 많은 사용자들이 해당 이슈를 보고 하였고 관련 솔루션도 소개되어 있다.


 

다양한 해결 방법중에 MariaDB ODBC 3.03 Driver 에서는 해당 이슈가 해결되었다는 글이 있어 드라이버를 업그레이드 진행 하였다그리고 테스트 결과 정상적으로 값이 출력됨을 확인할  있었다.


 

 

각종  ODBC Driver  대한 버전은 ODBC Data Source Administrator에서 Drivers 탭에서 확인할  있다.


 

·       MariaDB ODBC Driver 설치 또는 업그레이드시 시스템 재부팅이 요구되므로 주의한다.

 

 

2018-05-30 / 강성욱 / http://sqlmvp.kr / http://sqlangeles.com

 

Aurora My5.6, ETL, MariaDB ODBC driver error, ODBC decimal error, ETL, ODBC driver, MySQL, MariaDB, MSSQL



출처: https://sqlmvp.tistory.com/1245?category=618825 [Database Lab]




profile

강성욱 / jevida@naver.com
Microsoft SQL Server MVP
Blog : http://sqlmvp.kr
Facebook : http://facebook.com/sqlmvp

Kakao Talk : SQLMVP

Line : jevida


현재 LA에 거주하고 있으며 SQL에 관심있는 분이면 언제든 친추 환영합니다.