머신러닝 & AI 개발자 Tip & 강좌 게시판

Data Scientist와 개발자를 위한 머신러닝, AI 등 개발 Tip과 강좌 게시판 입니다. 일반적인 머신러닝은 물론 딥러닝(Tensorflow, Keras, PyTorch 등), 인공지능 관련 업무를 진행하면서 얻은 Tip이나 강좌, 새로운 소식을 적어 주시면 다른 개발자 분들에게 큰 도움이 됩니다.

 

2021년 머신러닝과 인공지능(AI) 트렌드 - MLaaS (서비스로의 머신러닝)

 

요약 : 

머신러닝은 더이상 업계에서 검토 단계의 기술이 아니다. 딜로이트 리포트에 따르면, 74% 의 기업 임원들은 AI가 "모든 기업의 어플리케이션"에 3년(2023년) 이내에 포함될 것으로 바라보고 있고, 2020년 기준, 95% 이상의 기업들이 AI와 ML을 어떤 형태로든 도입해 사용하고 있다. 글로벌 기술 기업들은 끊임 없이 인공지능 기업들을 인수합병 하고 있으며 천문학적인 단위의 돈을 R&D에 투자하고 있고, 특히, 수많은 머신러닝 유관 프레임워크와 MLaaS(Machine Learning as a Service)에 투자하고 있다.

이 문서에서는 왜 기업들이 MLaaS에 주목하고 있으며, 2021년 AI/ML은 어떤 방향으로 나아가게 될지 알아본다.

 

이 문서는

- 지난 2020년 7월 발표된 딜로이트 컨설팅의 설문 조사 내용과 

- 미디엄의 그레이엄 거슬리의 포스트 - Machine Learning as a Service (MLaaS) is the Next Trend No One is Talking About

- Mordorintelligence의 마켓 서베이 - Machine Learning as a Service Market | Growth, Trends, and Forecast (2020-2025) (mordorintelligence.com)

- 가트너의 2021 트렌드 리포트 - Gartner Top Strategic Technology Trends for 20212 Trends on the Gartner Hype Cycle for Artificial Intelligence, 2020

를 일부 인용해 제공된다.

 

 

SQLER의 이전 포스트에서도 이야기 한것처럼

머신러닝은 데이터에 대한 수학적 모델을 사용해 사람의 직접적인 명령 없이 학습 가능한 기술이다.

지난 몇년간 머신러닝은 정말 빠르게 성장했고 폭 넓게 사용되었다. 물론 기업의 도입 역시 마찬가지다.

우리가 체감하는 것처럼, 성장의 척도가 아니라, 이제 어떻게 잘 활용할지를 고민하는 것이 더 빠른 시기가 되었다.

 

They believe, as in years past, that AI is key to market leadership—today and in the future. Ninety percent of our Seasoned adopters believe that AI is “very” or “critically” important to their business today (compared with 73 percent of all survey respondents)

- 딜로이트

 

그렇다. 그냥 중요한게 아니라, "매우", "엄청"! 중요하다.

 

조직의 측면에서 바라본 ML / AI와 산업계의 관계

Slide10.JPG

 

이전 포스트에서 소개한 것처럼, 머신러닝의 중요성은 누구나 알고 있고, 잘 인지하고 있다. 그렇다면 딜로이트 설문에 참여한 글로벌 리딩 기업들의 임원들은 어떻게 ML과 AI를 접근하고 있을까?

 

 

AI가 "모든 기업의 어플리케이션"에 3년 이내에 포함될 것

 

modified_6462_fig2.jpg

이미지 출처 : 딜로이트

 

An indicator of this: 74 percent of adopters agree that AI will be integrated into all enterprise applications within three years. 

- 딜로이트

 

74% 의 참여자들은 AI가 "모든 기업의 어플리케이션"에 3년 이내에 포함될 것으로 바라보고 있다.

"모든 기업의 어플리케이션"이라는 것은 우리, 개발자들에게도 의미하는 바가 크다.

어떤 형태로든, 우리 개발자들도 3년 이내에(2023년까지) 선택의 기로에 서게 된다는 것. 

개인적인 체감으로는, 1년 반이나 2년이면 선택의 기로는 사라질 것이라고 본다.

 

그렇다면, 조사에 참여한 기업들의 현재 상태는 어떨까? 

- 머신러닝은 67%가 사용 중이며, 2021년 97%가 사용할 계획이라고 밝혔고

- 딥러닝은 54%, 95%는 2021년 사용 계획

- NLP는 58%, 94%낸 2021년 사용 계획

- Computer vision은 56%가 사용, 94%가 2021년 사용 계획

이라고 소개하고 있다. 2021년 사용 계획이 거의 전체다. 그렇다면, 왜 그들은 AI와 ML 기술을 이렇게 열과 성을 다해 도입하고 있을까?

 

기업들이 AI/ML 기술에서 추구하는 가장 중요한 두가지 혜택

아주 클리어하게 정리하고 있다.

When asked to identify the top two benefits they were seeking from AI technologies, our respondents’ top choices were making processes more efficient and enhancing existing products and services 

- 딜로이트

 

예측 한것처럼, 결국은 "(1) 프로세스 효율 증가"와 "(2) 제품과 서비스 향상". 

기업의 도입 목표는 어떤 의미에서 아주 명료하다. 이 두가지의 목표만 있는 것이 아니다, 그외에도 여러 목적을 가지고 도입을 진행하고 있으며, 좀더 상세한 정보는 아래 참조.

 

 

modified_6462_fig4.jpg

- 이미지 출처 : 딜로이트

 

그 외에도, "(3) 의사결정" 부분이나 "(4) 임직원의 생산성 향상" 부분 등도 AI와 ML 도입에 높은 가치를 부여하고 있다. 수년간 ML에서 많이 사용된 의사 결정 지원 부분이나 RPA(Robotic Process Automation) 역시 이러한 요구의 일부일 것.

 

기업이 AI를 사용하는 목표

 

Goals for using AI

Automate a process or function that would normally be done by a human—for example, automating back-end operations, managing cloud and IT networks, or detecting patterns in video

Optimize the efficiency of a process or function—for example, preventing fraud, identifying defective products, finding errors in software code, or personalizing advertising placement

Enhance the ability of individuals to accomplish tasks or enable them to do something they typically could not—for example, forecasting demand, improving compliance, augmenting threat detection by security analysts, diagnosing a patient, identifying a problem with a mechanical system, or drawing out new customer insights

- 딜로이트

 

크게 세가지 부분을 기업의 목표로 앞으로 지속적인 투자와 발전이 기대된다. 그렇다면, 조직의 ML 도입 상태별로 본다면 어떨까? Seasoned는 높은 수준의 AI를 조직 차원에서 도입한 기업들으로 보면 되고, Starter는 이제 막 AI 도입을 시작한 회사들을 의미한다. 

 

modified_6462_fig5.jpg

 

프로세스의 효율이 부동의 1위이지만, 흥미로운 부분은 비용 절감 부분이 Seasoned 기업들에게 8위라는 것이다. Seasoned들은 역시 AI와 ML에서 새로운 가능성을 보고, "Creating new product and service"에 초점을 맞추고 있다.

아마도, 여러 의미를 포함하고 있을 것이다. Seasoned 기업들의 말은, 해보니 이렇더라... 라는 느낌?

자 그렇다면, 어떤 Action들이 AI/ML 도입시 경쟁 우위를 선점하게 할까?

 

 

경쟁 우위를 높이기 위한 AI 계획(initiative)

modified_6462_fig7.jpg

 

첫번째, 데이터 인프라스트럭처의 현대화

음... AI에서 경쟁우위를 가지기 위해 가장 먼저 고려 해야할 선택으로 데이터 인프라스트럭처의 현대화를 선택했다.

음, 사실 보면서 많이 놀랐다. 현업 머신러닝 프로젝트에서 가장 어려운 부분이 이 데이터 ingestion과 전처리 부분이다.

데이터 버저닝(versioning)은 물론이고, 성능 / 가용성(availability) 등 수 많은 요구가 있는 부분이다. 

이미 많은 기업들이 이러한 문제들을 잘 인식하고 있고, 해결 방안에 대해서도 많은 고민과 접근을 이루어가고 있다.

 

두번째, 최신 & 최고의 AI 기술 습득

 

Across all these different technology areas, 93 percent are using cloud-based AI capabilities, while 78 percent employ open-source AI capabilities. 

- 딜로이트

 

참여한 기업들의 93%가 현재 클라우드 기반 AI 기술을 사용하고 있으며, 78%는 오픈소스 기반 AI 기술 사용 중.

사실 AI와 머신러닝 기술들의 대부분의 오픈소스라서 그다지 놀랍지는 않지만, 클라우드 기반 기술이 93%라는건 앞으로도 더 많은 클라우드 AI/ML 기술 의존이 지속될 것으로 판단.

 

 

지속적으로 기술 리딩을 유지하기 위한 방안

 

modified_6462_fig10.jpg

 

지속적으로 첨단 기술을 유지하기 위한 방법으로 3가지의 방안과 9가지의 실행계획을 제공.

- 창의적인 접근

- 스마트 컨슈머가 될것

- 리스크를 적극적으로 해결

 

여전히 남아있는 AI/ML의 난제와 2021년

이전 포스트에서 소개한 것처럼, 이미 실제 거의 모든 비즈니스에서 ML은 사용도고 있으며 업계에서 가장 보수적인 공공, 금융 서비스부터 제조 서비스부터 기술 서비스까지 영역을 가리지 않는다. 하지만 여전히 AI와 머신러닝에도 난제는 남아있다. 

 

글로벌 플랫폼 기술 기업들의 2020년

앞의 내용에서 알아본 것처럼, 참여한 기업들의 93%가 현재 클라우드 기반 AI 기술을 사용하고 있으며, 78%는 오픈소스 기반 AI 기술 사용 중이다. 이미 클라우드 기술들을 물과 공기처럼 쓰고 있으며, 오픈소스는 그 초석이 되거 있다.

 

Microsoft, Amazon, Google과 같은 글로벌 플랫폼 기술 기업들은 끊임 없이 AI/ML 기업들을 인수합병 하고 있으며 천문학적인 단위의 돈을 R&D에 투자하고 있고, 특히, 수많은 머신러닝 유관 프레임워크와 MLaaS(Machine Learning as a Service)에 투자하고 있다.

 

이러한 제품과 서비스의 주요 특징은 역시, 위에서 요구하는 기업들의 요구와 정확히 일치한다.

- (당연히 클라우드지만) 서버 프로비전 불필요 

- 소프트웨어 구성 불필요

- 빠르게 ML 전체 워크플로우를 실행 가능(이전 포스트의 ML 개발 워크플로우 참조

ML_flowpng.png

 

위의 딜로이트 컨설팅에서 기업들이 가장 중요하게 바라보고 있는 요구를 그대로 수렴하고 있다.

- "프로세스 효율 증가"와 "제품과 서비스 향상" 돌려 이야기 할 필요 없다. 비용 절감이지.

 

이미, 머신러닝은 더이상 업계에서 도입 검토 단계의 기술이 아니다.

74% 의 참여자들은 AI가 "모든 기업의 어플리케이션"에 3년 이내에 포함될 것으로 바라보고 있고, 이미 95% 이상의 기업들이 AI와 ML을 어떤 형태로든 도입해 사용하고 있다. 이미 머신러닝은 파괴적인 혁신을 가져오는 기술임을 입증했고, 수 많은 분석가들은 거의 모든 산업군에서 미래 성장을 견인할 것으로 예측하고 있다. (니들이 예측하거나 말 안해도 온몸으로 느끼고 있다.)

 

포브스의 지난 리포트에서도 AI/ML의 성장 속도와 그 가치를 확인 가능하다. 

Roundup Of Machine Learning Forecasts And Market Estimates, 2020 (forbes.com)

 

- The global machine learning market was valued at $1.58B in 2017 and is expected to reach $20.83B in 2024, growing at a CAGR of 44.06% between 2017 and 2024.

- Projected to grow at a Compound Annual Growth Rate (CAGR) of 42.8% from 2018 to 2024, the global Machine Learning (ML) market will worth $30.6B in four years.

- Tractica predicts annual global AI software revenue will grow from $10.1B in 2018 to $126.0B by 2025, achieving a CAGR of 43.41%. 

 

출처 - 포브스

 

 

돈이 Billion 단위라 아득하지만, 다략 2024년까지 20조 정도, 연간 성장률이 44% 이상이지만, 이 속도는 더 가속화 되고 있다.(마켓은 좀 적게 잡은 느낌이지만, 우리는 연간 성장률에 주목하자.)

 

시간이 지나면서 머신러닝은 딥러닝 기술로 대체될 것

- 이전 포스트 참조

Slide5.JPG

개인적으로, 딥러닝으로의 전환속도는 특히 한국에서 더 빠른 것 같다. (최신기술이라는 쏠림 현상도 한 몫)

확실한건, 더 많은 (퀄리티 높은)데이터에 대한 제공과 지속적으로 성능이 향상되는 딥러닝 알고리즘들이 앞으로도 성장 속도를 견인할 것으로 기대된다.

 

하지만, 여전히 난제가 있다.

 

 

modified_6462_fig7.jpg

출처 : 딜로이트

 

- 데이터와 인프라스트럭처에 대한 현대화

- 새로운 . 최선의 기술 습득

- 클라우드 기반 AI 서비스과 역량 활용

- AI/머신러닝 모델 배포

- 전문가 고용 등

 

수 많은 필요조건들이 있다. 2021년에도 여전히 이 문제들에 대한 도전이 있을 것.

 

 

2020부터 시작된 ML/AI 도입시, 기업의 전략과 방향

매일 하는 구글/네이버 검색부터 음성비서, 이메일의 스팸필터 기능부터 초 고비용 제품 생산 공정 라인까지, 머신러닝은 엄청난 속도로 혁신과 성장을 계속하고 있다. AI와 함께 ML이 전체 산업에 파괴적인 혁신을 가져올 수 있을 능력이 있다고 밝혔다. 앞에서 소개한 2020년 딜로이트 설문 결과에 나온 것처럼

 

- 2019년 게임 체인저로 간주한 기술 - AI와 ML이 1위 (응답자의 40%)

거의 모든 기업 / 국가 수준으로 AI/ML에 연구개발 / 투자하고 있드며, 한명 한명 모든 개발자 역시 ML은 피할 수 없는 기본 역량이 되어가고 있다.

 

- 처음부터 ML 모델을 개발/빌드하는 것보다 플랫폼 배포(deploying platforms)에 주력 하는 추세로 전환

- 주요 클라우드 서비스와 마찬가지로, 소프트웨어 설치가 필요 없고 자체 서버 배포 조차 필요 없는 MLaaS로 빠르게 이전 중.

 

Machine Learning as a Service (MLaaS) is the Next Trend No One is Talking About | by Graham Guthrie | Data Driven Investor | Medium

 

The two main choices for investment lie somewhere near the following: an investment in skilled data scientists, building out an infrastructure to support the collection of data and model training, and installing the processes for governing this new technology; or more practically, an investment in utilizing machine learning as a service (MLaaS) from a cloud service provider. As cloud providers continue to fight for market share, MLaaS will become a key differentiating point between businesses choosing which cloud provider to employ.

출처 : Medium - Graham Guthrie

 

그레이엄 거슬리는 그의 포스트에서 - 두가지 중 선택을 말하고 있다.

 

- 숙련된 데이터 사이이언티스트, 데이터 수집과 모델 빌드가 가능한 인프라 구축, 새로운 기술들에대한 검토 프로세스와 설치(skilled data scientist, infrastructure to support the collection of data and model training, and installing the processes for governing this new technology)

 

를 하거나, 또는 다른 선택으로

 

- MLaaS 마켓 점유율을 높이기 위해 싸우는 클라우드 서비스 제공자(cloud providers continue to fight for market share, MLaaS)

 

참 깔끔하게 말하고 있다. 딜로이트 컨설팅의 조사와 같이, "비용 절감"과 "효율" 최우선 기업들이 어떤것을 선택할지 역시 클리어 할 것이다.

 

 

2021년 머신러닝 / AI 시장 예측

- 시장을 보려 하지 말고, 글로벌 테크 기업들의 행보를 주목. (주식 유튜버 같은걸)

- Microsoft, Google, Amazon 등의 기업들은 MLaaS 기술 유관 기업들을 말 그대로 끊임 없이 인수합병 중, 엄청난 속도로 기능 업그레이드. 한 예를 들어 보자면, azureml core 의 업데이트 속도... 어마무시 하다.

- 2021년 격전이 예상되는 MLaaS 그리고 MLOps 

- 클라우드 기업들의 주요 컴퓨팅 / 저장소 / DevOps / Security 등의 개발 서비스와 연계

- 사실상 클라우드 MLaaS의 AI/ML의 기본 빌드/배포 플랫폼이 될 것으로 예측

 

Mordor Intelligence에 따르면

- 전 세계 MLaaS 시장은 2020-2025 년까지 연평균 43 % 이상의 성장을 보일 것으로 예상

- 2025 년까지 84 억 8 천만 달러에이를 것으로 예상

 

MLaaS 기술 - 글로벌 플랫폼 / 클라우드 벤더 현황

Microsoft Azure : Azure Machine Learning

AWS : SageMaker

Google : AI Platform

IBM : IBM Watson Machine Learning

...

상세 기술 부분은 이후 SQLER 포스팅에서 진행 예정. 늘 이야기 하지만, 하나의 기술만 이해하면 나머지 기술도 이름과 실행 방법만 조금씩 다를 뿐이다. 

 

대규모 데이터에 대한 접근과 고성능 컴퓨팅 파워 사용 가능은 과거에 해결하기 어려웠던 비즈니스 문제를 해결 가능. 

또한 매일매일 데이터가 변화하는 기업에서, 머신러닝의 적응성 역시 기업의 사랑을 받고 있다.

로직이 특정되어야 하는 기존의 어플리케이션 개발과 다르게, 시시각각 변화하는 데이터를 빠르게 배포해 최신의 데이터를 적용해 올려 두는 것이 기업의 요구.

 

하지만, 말이 쉽지 실상을 그리 단순하지 않다. 이 과정을 어떻게 자동화할 수 있을까?

MLOps가 그 해결책이고, 다음 포스팅에서 다룰 예정.

 

MLOps 참고 링크 : SQLER.com - 데이터베이스, 클라우드, 머신러닝, 오픈소스 개발자 커뮤니티 - 머신러닝을 시작하는 개발자를 위한 - (4) 2021년의 ML Trend - MLaaS와 MLOps(Machine Learning + DevOps)

MLOps.png

 

참조링크

The state of artifical intelligence in business | Deloitte Insights

Machine Learning as a Service (MLaaS) is the Next Trend No One is Talking About | by Graham Guthrie | Data Driven Investor | Medium

Roundup Of Machine Learning Forecasts And Market Estimates, 2020 (forbes.com)

Gartner Top Strategic Technology Trends for 2021

2 Trends on the Gartner Hype Cycle for Artificial Intelligence, 2020

Azure Machine Learning | Microsoft Azure

AI Platform  |  Google Cloud

Amazon SageMaker – Machine Learning – Amazon Web Services

Watson Machine Learning - Overview | IBM

SQLER.com - 데이터베이스, 클라우드, 머신러닝, 오픈소스 개발자 커뮤니티 - 머신러닝을 시작하는 개발자를 위한 - (1) 머신러닝 용어정리, 분류부터 MLOps까지

 

No. Subject Author Date Views
18 Python 머신러닝 강좌 - 9. 중복데이터와 결측값(missing value) 처리 코난(김대우) 2021.01.08 70
17 Python 머신러닝 강좌 - 8. Pandas DataFrame 컬럼(column) 분할(split)과 삭제(remove) 코난(김대우) 2021.01.08 86
16 Python 머신러닝 강좌 - 7. Pandas DataFrame으로 CSV 파일 읽고 쓰기 코난(김대우) 2021.01.08 55
15 Python 머신러닝 강좌 - 6. CSV 파일과 주피터 노트북 file 코난(김대우) 2021.01.08 70
14 Python 머신러닝 강좌 - 5. Pandas DataFrame에 질의(Query) 코난(김대우) 2021.01.07 60
13 Python 머신러닝 강좌 - 4. Pandas DataFrame file 코난(김대우) 2021.01.07 50
12 Python 머신러닝 강좌 - 3. Pandas 소개 file 코난(김대우) 2021.01.07 82
11 Python 머신러닝 강좌 - 2. Anaconda와 Conda 구성 file 코난(김대우) 2021.01.06 100
10 Jupyter notebook 단축키 등의 cheat sheet file 코난(김대우) 2021.01.06 87
9 Python 머신러닝 강좌 - 1. 주피터 노트북(Jupyter Notebook) 구성 file 코난(김대우) 2021.01.06 268
» 2021년 머신러닝과 인공지능(AI) 트렌드 - MLaaS (서비스로의 머신러닝) file 코난(김대우) 2020.12.29 210
7 머신러닝을 시작하는 개발자를 위한 - (4) 2021년의 ML Trend - MLaaS와 MLOps(Machine Learning + DevOps) 코난(김대우) 2020.12.28 197
6 머신러닝을 시작하는 개발자를 위한 - (3) 우리 개발자가 머신러닝을 해야 하는 이유는? 코난(김대우) 2020.12.28 88
5 머신러닝을 시작하는 개발자를 위한 - (2) 머신러닝 서비스/프레임워크/툴킷 분류 및 전체 개발 흐름 코난(김대우) 2020.12.28 131
4 머신러닝을 시작하는 개발자를 위한 - (1) 머신러닝 용어정리, 분류부터 MLOps까지 file 코난(김대우) 2020.12.28 338
3 Deep Learning 개발 중 현재 GPU를 점유하는 pid 및 GPU 사용량 확인하는 방법 file 코난(김대우) 2020.12.26 50
2 GPU 머신에서 Machine Learning을 수행할때 Deep Learning 툴킷 & 패키지들이 GPU를 이용하는지 체크하는 python 코드 코난(김대우) 2020.12.21 142
1 머신러닝 새로운 글 코난(김대우) 2020.12.18 186





XE Login