어제와 비슷한 오늘을 삽니다.
그리고 오늘과 비슷한 내일을 기대합니다.
그런 우리에게 ‘미래를 예측한다’는 말은 늘 설렘과 동시에 막연한 두려움을 안겨줍니다.
특히 인공지능, AI라는 단어가 세상을 뒤덮는 요즘은 더욱 그렇습니다.
뉴스에서는 AI가 그림을 그리고, 글을 쓰고, 심지어 사람처럼 대화한다고 말합니다.
그럴 때면 마음 한구석이 쿵, 하고 내려앉는 기분이 들 때가 있습니다.
마치 나만 빼고 모두가 미래로 달려가는 기차에 올라탄 것만 같습니다.
나는 낯선 승강장에 홀로 남겨진 듯한 소외감을 느끼기도 합니다.
복잡한 영어 약자와 알 수 없는 기술 용어들은 우리 사이에 거대한 벽을 세우는 것만 같습니다.
괜찮습니다. 처음에는 모두가 낯설고, 어렵게 느껴지는 것이 당연합니다.
기술은 우리를 겁주거나 소외시키기 위해 존재하는 것이 아닙니다.
오히려 우리의 삶을 조금 더 편하고, 지혜롭게 만들어주기 위한 따뜻한 도구에 가깝습니다.
오늘은 그 도구들 중에서 미래를 살짝 엿볼 수 있게 도와주는 두 명의 특별한 ‘예언가’를 만나보려고 합니다.
어려운 수학 공식이나 코드는 잠시 잊으셔도 좋습니다.
대신, 이 친구들이 각각 어떤 성격을 가졌는지 알아보겠습니다.
어떤 방식으로 우리에게 미래에 대한 힌트를 주는지, 옆집 사는 다정한 이웃의 이야기를 듣는 것처럼 편안한 마음으로 따라와 주세요.
우리가 함께 나눌 이야기는 ‘시계열 데이터 예측’이라는 조금은 생소한 이름의 기술입니다.
하지만 이름만 어렵지, 사실은 우리 삶과 아주 가까이에 있답니다.
내일 우리 동네 빵집에 손님이 얼마나 올지 궁금해하는 마음.
다음 달 내가 가장 좋아하는 아이스크림 가게의 매출은 어떨지 상상하는 기대감.
내년 여름휴가 때 비행기 표 값은 어떻게 될지 가늠해보는 모든 생각이 바로 그 시작이니까요.
자, 이제 두려움은 잠시 내려놓고, 미래를 예측하는 두 명의 지혜로운 친구, ARIMA와 Prophet의 세계로 함께 떠나볼까요?
미래를 엿보는 수정 구슬, 정말 있을까요?
어릴 적 동화책에서 보았던, 미래를 보여주는 신비한 수정 구슬을 기억하시나요?
마법사가 주문을 외우면 구슬 안에서 미래의 풍경이 아른거리던 모습이 참 신기했습니다.
AI 기술의 ‘시계열 예측’은 바로 이 수정 구슬과 아주 비슷합니다.
다만 주문 대신 ‘데이터’라는 재료를 사용합니다.
그리고 마법 대신 ‘규칙’을 찾아내는 똑똑한 계산을 할 뿐입니다.
여기서 ‘시계열’이라는 단어가 조금 낯설게 들릴 수 있습니다.
어렵게 생각할 필요가 전혀 없습니다.
그냥 ‘시간의 순서대로 차곡차곡 쌓인 기록’이라고 생각하면 마음이 편안해집니다.
예를 들어, 매일 아침 내가 마시는 커피의 양을 기록한 일기.
스마트 워치에 기록된 나의 일일 걸음 수.
한 달 동안 우리 집의 전기 사용량을 기록한 고지서.
지난 1년간 꾸준히 오른 우리 동네 아파트의 가격 변화.
이 모든 것이 바로 시계열 데이터입니다.
시간의 흐름에 따라 변화하는 모든 기록이 여기에 해당됩니다.
우리는 왜 이런 기록들을 소중하게 간직하고 들여다볼까요?
그 안에서 어떤 ‘패턴’이나 ‘흐름’을 발견하고 싶기 때문입니다.
과거가 어떤 모습으로 흘러왔는지 이해하면, 미래가 어떤 모습으로 다가올지 어렴풋이 짐작할 수 있으니까요.
마치 해가 동쪽에서 떠서 서쪽으로 지는 것을 매일 봅니다.
그것을 보면서, 내일 아침에도 해가 동쪽에서 뜰 것이라고 자연스럽게 예상하는 것과 같습니다.
시계열 예측 모델들은 바로 이 역할을 해주는 고마운 친구들입니다.
과거의 데이터 속에 숨어있는 비밀스러운 규칙들을 아주 꼼꼼하게 찾아냅니다.
그리고 그 규칙을 바탕으로 “아마 다음 주에는 이런 일이 일어날 거예요”라고 조심스럽게 미래를 그려 보여줍니다.
이것은 점을 치거나 운에 맡기는 것과는 완전히 다릅니다.
철저하게 과거의 흔적에 기반하여, 가장 가능성이 높은 미래의 모습을 과학적으로 추측하는 과정입니다.
덕분에 우리는 미리 준비할 수 있는 힘을 얻게 됩니다.
작은 카페 사장님은 다음 주 주말에 손님이 많을 것을 예측합니다.
그러면 커피 원두를 미리 넉넉하게 주문할 수 있습니다.
의류 매장 점장님은 다음 달부터 날씨가 추워질 것을 예측합니다.
그래서 따뜻한 겨울 외투를 미리 진열해 놓을 수 있습니다.
이처럼 미래를 예측하는 기술은 우리의 삶을 더 현명하고 풍요롭게 만드는 아주 실용적인 지혜입니다.
오늘 우리가 만날 ARIMA와 Prophet은 이 지혜를 우리에게 선물하는 대표적인 두 명의 ‘예언가’입니다.
둘은 성격도, 미래를 보는 방식도 조금씩 다릅니다.
이제부터 한 명씩 차근차근 만나보며, 그들의 이야기를 들어보겠습니다.
어떤 친구가 나에게 더 잘 맞는 조언을 해줄 수 있을지, 천천히 알아보는 즐거운 시간이 될 겁니다.
전혀 어렵지 않으니, 걱정 말고 따라오세요.
우리는 지금 동화 속 수정 구슬의 비밀을 파헤치러 가는 중이니까요.
이 기술은 우리를 위한 것이지, 우리가 기술을 위해 공부하는 것이 아닙니다.
그저 이 친구들이 어떻게 생각하는지, 그 마음을 이해해 보려는 시도일 뿐입니다.
기술의 본질은 결국 사람을 향한 이해에서 출발합니다.
우리가 시간을 이해하려는 노력처럼 말입니다.
시간 속에 숨겨진 비밀을 찾아 떠나는 여행, 그 첫 번째 안내자를 만나보겠습니다.
그의 이름은 ARIMA입니다.
전통을 사랑하는 꼼꼼한 통계학자, ARIMA 이야기
ARIMA라는 이름을 처음 들으면, 왠지 모르게 복잡하고 차가운 기계의 이름처럼 느껴질 수 있습니다.
하지만 ARIMA를 하나의 인격체, 이를테면 ‘전통을 아주 사랑하는 꼼꼼한 통계학자’라고 상상해 보면 어떨까요?
이 통계학자는 최신 유행을 따르기보다는, 오랫동안 검증된 자신만의 원칙과 기준으로 세상을 분석하는 것을 좋아합니다.
겉모습은 조금 무뚝뚝해 보일지 몰라도, 한번 맡은 일은 엄청난 책임감을 가지고 정확하게 처리해내는 믿음직한 전문가입니다.
ARIMA라는 이름은 사실 세 가지 생각의 조각을 합쳐 만든 이름입니다.
AR, I, MA. 이 영어 약자들을 외울 필요는 전혀 없습니다.
그저 이 통계학자가 어떤 방식으로 생각하는지를 이해하기 위한 작은 힌트라고 여겨주세요.
첫 번째 생각, ‘AR’은 ‘어제의 나’를 중요하게 생각하는 마음입니다.
ARIMA는 미래를 예측할 때, 가장 먼저 바로 직전의 과거를 돌아봅니다.
“어제 매출이 좋았다면, 그 기운이 오늘도 이어지지 않을까?”
“지난주에 손님이 무척 많았으니, 이번 주에도 비슷하지 않을까?”
이렇게 바로 이전의 사건이 다음 사건에 직접적인 영향을 줄 것이라고 생각하는 방식입니다.
마치 우리의 기분이 어제와 오늘, 크게 다르지 않은 것과 비슷한 원리입니다.
과거의 모습이 미래의 모습을 결정하는 중요한 열쇠라고 믿는, 아주 상식적이고 합리적인 생각입니다.
두 번째 생각, ‘I’는 ‘큰 흐름을 보기 위해 잠시 안경을 바꿔 쓰는 지혜’입니다.
데이터는 때때로 위아래로 심하게 요동치며 우리의 눈을 어지럽힐 때가 있습니다.
매일의 주식 가격처럼 정신없이 오르내리는 데이터를 그대로 보고 있으면, 진정한 방향을 찾기 어렵습니다.
ARIMA는 이럴 때 잠시 멈춰 서서, 데이터의 큰 출렁임을 잔잔하게 만들어주는 작업을 합니다.
마치 파도가 심하게 치는 바다의 수면을 잠잠하게 만들어, 그 아래에 흐르는 거대한 해류의 방향을 보려는 것과 같습니다.
이 과정을 통해 데이터가 가진 본연의 안정적인 흐름, 즉 진짜 추세를 발견해냅니다.
겉으로 보이는 변화에 현혹되지 않고, 그 안에 숨겨진 본질을 꿰뚫어 보려는 통찰력입니다.
세 번째 생각, ‘MA’는 ‘과거의 실수를 교훈 삼아 더 나은 예측을 하려는 겸손함’입니다.
아무리 뛰어난 예언가라도 완벽하게 미래를 맞출 수는 없습니다.
ARIMA도 마찬가지입니다.
어제 예측했던 값과 실제 결과값 사이에는 늘 약간의 ‘오차’가 발생합니다.
ARIMA는 이 오차를 그냥 버리지 않습니다.
“아, 어제 내가 이만큼 잘못 예측했구나. 이 실수를 기억했다가 오늘의 예측에 반영해야겠다.”
이렇게 과거에 저지른 예측의 실수를 오늘의 예측을 보정하는 데 사용하는 아주 현명한 방식입니다.
자신의 실수를 인정하고, 그것을 통해 배우며 끊임없이 성장하려는 태도. 정말 믿음직스럽지 않나요?
정리해 보면, ARIMA라는 통계학자는 이 세 가지 생각을 모두 합쳐 미래를 예측합니다.
먼저, 과거의 실제 값들을 보며 직접적인 연관성을 찾고.
그다음 데이터의 큰 흐름을 안정적으로 파악한 다음.
마지막으로 과거에 예측했던 실수까지 꼼꼼하게 반영하여.
아주 신중하고 논리적인 결론을 내립니다.
이 친구는 화려한 기교나 직감에 의존하지 않습니다.
오직 데이터 그 자체, 과거의 기록이 가진 내적인 힘과 규칙에만 집중합니다.
그래서 ARIMA는 마치 오랜 경험과 연륜을 가진 장인처럼, 묵묵하고 진중하게 자신의 일을 해냅니다.
이런 성격 때문에 ARIMA는 어떤 특정 상황에서 아주 뛰어난 능력을 발휘하게 됩니다.
과연 어떤 미래를 예측할 때, 이 꼼꼼한 통계학자의 도움이 가장 빛을 발하게 될까요?
다음 이야기에서 함께 알아보겠습니다.
ARIMA는 어떤 미래를 잘 맞출까요?
우직하고 꼼꼼한 통계학자 ARIMA.
이 친구는 모든 종류의 미래를 다 잘 보는 만능 해결사는 아닙니다.
자신이 가장 잘 이해하고 분석할 수 있는 특정 종류의 ‘미래’가 있습니다.
마치 한식 전문 요리사가 한식을 가장 잘 만들고, 중식 전문 요리사가 중식을 가장 잘 만드는 것과 같습니다.
ARIMA가 가장 자신 있어 하는 분야는 바로 ‘안정적이고 규칙적인 흐름을 가진 미래’입니다.
갑작스러운 사건이나 극적인 변화가 적습니다.
그리고 과거의 패턴이 미래에도 꾸준히 반복될 것이라고 기대되는 상황에서 최고의 실력을 발휘합니다.
예를 들어, 어떤 것들이 있을까요?
첫째, 대규모 공장의 월별 전력 사용량을 예측하는 경우를 생각해 볼 수 있습니다.
공장은 특별한 일이 없는 한 매달 비슷한 방식으로 기계를 돌립니다.
지난달의 전력 사용량은 이번 달의 사용량과 매우 비슷할 가능성이 높습니다.
여름이나 겨울에 냉난방으로 인해 사용량이 조금씩 늘거나 주는 규칙적인 변화는 있습니다.
하지만 갑자기 사용량이 두 배로 뛰거나 0이 되는 일은 거의 없습니다.
이처럼 안정적인 데이터의 흐름 속에서 미세한 변화를 예측하는 것은 ARIMA의 주특기입니다.
둘째, 한 국가의 단기 이자율 변화를 예측하는 것도 좋은 예입니다.
중앙은행이 결정하는 기준금리는 갑자기 큰 폭으로 변동하기보다는, 경제 상황을 반영하여 점진적으로, 그리고 매우 신중하게 움직입니다.
이것은 거대한 유조선이 방향을 트는 것과 같습니다. 빠르고 급격하게 움직이지 않습니다.
과거 수개월간의 금리 변화 추이를 살펴보면, 앞으로의 방향성을 예측하는 데 큰 도움이 됩니다.
ARIMA는 이러한 데이터의 내재된 ‘관성’, 즉 한번 움직이기 시작한 방향으로 계속 가려는 성질을 아주 잘 포착해냅니다.
셋째, 꾸준히 방문객이 있는 대형 쇼핑몰의 다음 주 주차장 이용 차량 대수를 예측하는 상황도 상상해 볼 수 있습니다.
물론 주말이나 공휴일에는 이용객이 늘어나는 변화가 있겠지만, 그 변화조차도 매주, 매년 반복되는 ‘규칙’의 일부입니다.
ARIMA는 데이터에 담긴 이런 미묘한 주기성과 패턴을 수학적으로 분석합니다.
그 결과 “다음 주 화요일 오전 10시에는 약 몇 대의 차가 들어올 것입니다” 와 같이 정교한 예측을 해낼 수 있습니다.
이처럼 ARIMA가 좋아하는 데이터의 특징은 ‘안정성’과 ‘규칙성’입니다.
데이터가 너무 심하게 널뛰거나, 과거와 현재의 연결고리가 약한 경우에는 조금 힘들어합니다.
오직 데이터 자체의 과거 기록에만 의존하기 때문입니다.
그래서 데이터에 담겨있지 않은 외부의 큰 충격은 예측하기 어렵습니다.
예를 들어, 갑작스러운 전염병의 유행으로 인한 항공기 승객 수의 급감.
유명 연예인의 방문으로 인한 작은 식당의 폭발적인 매출 증가.
이런 사건들은 ARIMA의 예측 범위를 벗어납니다.
이런 사건들은 과거 데이터에는 전혀 없던 새로운 종류의 변화이기 때문입니다.
ARIMA는 “제가 가진 데이터 기록 안에서는 이런 일이 일어날 것이라는 징후를 찾을 수 없었습니다”라고 솔직하게 말할 것입니다.
따라서 ARIMA를 잘 활용하기 위해서는 우리가 예측하려는 미래의 성격을 먼저 이해해야 합니다.
우리가 궁금해하는 미래가 과거의 연장선상에 있는 안정적인 모습이라면, ARIMA는 그 누구보다 믿음직한 조언자가 되어줄 것입니다.
하지만 모든 세상일이 그렇게 예측 가능하게만 흘러가지는 않겠죠?
가끔은 이 우직한 통계학자의 고집이 우리를 답답하게 만들 때도 있습니다.
다음 장에서는 ARIMA의 또 다른 얼굴, 고집스러운 장인 같은 모습에 대해 이야기해보겠습니다.
가끔은 고집스러운 장인 같기도 해요
모든 것에는 밝은 면과 어두운 면이 공존합니다.
우리의 꼼꼼한 통계학자 ARIMA에게도 까다로운 구석이 있습니다.
마치 자신만의 방식으로만 작업해야 직성이 풀리는 예민한 장인과도 같습니다.
이러한 특징들을 미리 알아두지 않으면, 우리는 ARIMA와 함께 일하며 적잖이 당황하게 될지도 모릅니다.
가장 먼저, ARIMA는 아주 ‘깔끔한 작업 환경’을 요구합니다.
여기서 작업 환경이란 바로 ‘데이터’를 의미합니다.
ARIMA는 데이터 중간에 값이 빠져있는 것, 즉 ‘결측치’를 무척 싫어합니다.
마치 중요한 설계도의 한 부분이 지워져 있는 것을 용납하지 못하는 건축가처럼 말입니다.
만약 매일의 매출을 기록한 데이터에서 며칠간의 기록이 누락되어 있다면, ARIMA는 “이래서는 작업을 시작할 수 없습니다”라며 멈춰 서 버릴 수 있습니다.
우리는 이 빈칸을 다른 값으로 채워주거나, 해당 부분을 아예 삭제하는 등 사전 준비 작업을 꼼꼼하게 해주어야만 합니다.
둘째, ARIMA는 앞서 잠깐 이야기했던 ‘안정적인 데이터’를 무척이나 선호합니다.
데이터가 시간이 지남에 따라 계속해서 위로 솟구치거나 아래로 곤두박질치는, 뚜렷한 성장 또는 하락 추세를 보이면 힘들어합니다.
이런 데이터를 ‘불안정하다’고 표현하는데, ARIMA는 이런 불안정한 상태에서는 자신의 예측 능력을 제대로 발휘하기 어렵습니다.
그래서 우리는 ARIMA가 일하기 전에, ‘차분’이라는 특별한 작업을 통해 데이터를 안정적인 상태로 만들어주어야 합니다.
이것은 마치 빠르게 달리는 자동차의 속도를 줄여, 차의 상태를 제대로 점검하는 것과 비슷한 과정입니다.
이 과정은 때로 전문적인 지식을 필요로 하기 때문에, 처음 만나는 사람들에게는 꽤 높은 벽으로 느껴질 수 있습니다.
셋째, ARIMA는 ‘최적의 연장’을 찾아주는 과정이 꽤나 복잡합니다.
앞서 ARIMA가 AR, I, MA라는 세 가지 생각을 조합하여 미래를 본다고 했습니다.
이때, “과거를 얼마나 멀리까지 돌아볼 것인가?”, “데이터를 얼마나 안정적으로 만들 것인가?”, “과거의 실수를 얼마나 많이 반영할 것인가?”를 우리가 직접 정해주어야 합니다.
이것을 ‘모수 설정’이라고 부릅니다.
마치 요리사가 요리의 맛을 결정하기 위해 소금과 설탕의 양을 정확하게 조절하는 것과 같습니다.
최적의 조합을 찾기 위해서는 여러 번의 실험과 통계적인 지식이 필요합니다.
마치 장인이 수많은 연장 중에서 자신의 손에 꼭 맞는 것을 고르기 위해 오랜 시간을 들이는 모습과도 같습니다.
이 과정이 익숙하지 않은 사람에게는 시간도 많이 걸리고 어렵게 느껴질 수밖에 없습니다.
마지막으로, ARIMA는 데이터 외적인 정보는 전혀 고려하지 않는다는 고집이 있습니다.
예를 들어, 아이스크림 판매량을 예측한다고 해봅시다.
우리는 상식적으로 ‘크리스마스’나 ‘여름휴가 시즌’ 같은 특별한 날에는 판매량이 급증할 것이라는 사실을 알고 있습니다.
하지만 ARIMA는 오직 과거의 숫자 데이터만 봅니다.
그래서 ‘크리스마스’라는 이벤트가 가진 의미를 이해하지 못합니다.
그저 특정 날짜에 판매량이 갑자기 튀어 오른 이례적인 현상으로만 받아들일 뿐입니다.
이처럼 우리의 상식이나 세상의 지식을 예측에 반영하기가 어렵다는 점은 ARIMA의 가장 큰 한계 중 하나입니다.
이런 점들 때문에 ARIMA는 강력한 예측 도구임에도 불구하고, 때로는 사용하기가 까다롭고, 유연성이 부족하다는 평가를 받기도 합니다.
그렇다면, 혹시 이런 까다로운 장인의 단점을 보완해 줄 수 있는, 조금 더 사교적이고 유연한 성격의 예언가는 없을까요?
다행히도, 있습니다.
이제 우리의 두 번째 친구를 만나러 갈 시간입니다.
그의 이름은 Prophet. 사람의 마음을 더 잘 이해하는 친구입니다.
사람의 마음을 더 잘 이해하는 친구, Prophet 이야기
ARIMA가 꼼꼼하고 전통을 중시하는 통계학자라면, Prophet은 사교적이고 직관적인 성격의 ‘트렌드 분석가’에 가깝습니다.
이 친구는 복잡한 수학 이론보다는, 우리의 삶이 어떻게 흘러가는지에 더 많은 관심을 가집니다.
Prophet은 페이스북이라는, 전 세계 사람들의 일상과 생각이 모이는 곳에서 태어났습니다.
그래서인지 기술의 중심에 사람을 두는 따뜻한 마음을 가지고 있습니다.
이름인 Prophet은 ‘예언자’라는 뜻인데, 그 이름처럼 우리에게 미래에 대한 통찰력을 아주 친절하고 이해하기 쉬운 방식으로 전달해 줍니다.
Prophet이 미래를 예측하는 방식은 ARIMA와는 사뭇 다릅니다.
마치 복잡한 문제를 잘게 나누어 하나씩 해결하는 명탐정처럼, 시간의 흐름을 여러 가지 조각으로 분해해서 생각합니다.
첫 번째 조각은 ‘트렌드’입니다.
바로 전체적인 큰 흐름을 의미합니다.
우리 회사의 매출이 장기적으로 계속 성장하고 있는지, 아니면 서서히 줄어들고 있는지를 나타내는 거대한 물결과 같습니다.
Prophet은 이 큰 흐름이 항상 똑같은 속도로 움직이지 않는다는 사실을 잘 알고 있습니다.
어느 순간 성장이 주춤했다가, 다시 가파르게 솟구치는 변곡점이 있을 수 있다는 것을 유연하게 받아들입니다.
두 번째 조각은 ‘계절성’입니다.
이것은 주기적으로 반복되는 패턴을 의미합니다.
Prophet은 우리가 살아가는 세상에는 다양한 주기가 존재한다는 것을 아주 잘 이해하고 있습니다.
예를 들어, ‘일주일’이라는 주기가 있습니다.
대부분의 상점은 월요일에 비교적 한가하다가 주말인 토요일에 가장 붐빕니다.
이런 패턴은 매주 반복됩니다.
또한 ‘일 년’이라는 더 큰 주기도 있습니다.
아이스크림은 여름에 많이 팔리고, 따뜻한 코트는 겨울에 많이 팔리는 것처럼 말입니다.
Prophet은 이러한 주간 패턴과 연간 패턴을 각각 따로 분석하여 예측에 반영하는 똑똑함을 가지고 있습니다.
세 번째 조각은 Prophet의 가장 큰 매력이라고 할 수 있는 ‘휴일 효과’입니다.
우리의 삶은 달력에 표시된 특별한 날들에 큰 영향을 받습니다.
추석이나 설날 같은 명절에는 고향을 찾는 사람들 때문에 고속도로가 붐빕니다.
크리스마스에는 선물과 케이크 판매량이 급증합니다.
ARIMA가 이해하기 어려워했던 바로 그 ‘이벤트’의 힘을, Prophet은 아주 중요하게 생각합니다.
우리는 Prophet에게 “이날은 우리나라의 큰 명절인 추석이야”, “이날은 대규모 할인 행사가 열리는 블랙 프라이데이야” 라고 알려줄 수 있습니다.
그러면 Prophet은 이 특별한 날들이 미래 예측에 미칠 영향을 스스로 계산하여 반영합니다.
마치 우리의 생활 리듬과 문화를 이해하는 친구처럼 느껴지지 않나요?
이 세 가지 조각, 즉 장기적인 ‘트렌드’, 주기적인 ‘계절성’, 그리고 특별한 날의 ‘휴일 효과’를 모두 조합하면 어떻게 될까요?
과거 데이터의 흐름을 아주 풍성하고 입체적으로 설명할 수 있게 됩니다.
그리고 이 설명을 바탕으로 아주 그럴듯한 미래의 모습을 그려낼 수 있게 되는 것입니다.
Prophet의 가장 큰 장점은 바로 이 ‘이해하기 쉬움’에 있습니다.
ARIMA처럼 복잡한 통계 지식이나 까다로운 모수 설정 과정 없이도, 마치 레고 블록을 조립하듯 예측 모델을 쉽게 만들어 볼 수 있습니다.
데이터가 조금 비어있어도 너그럽게 이해해주고, 트렌드가 변하는 지점도 알아서 척척 찾아줍니다.
그래서 Prophet은 데이터 분석 전문가가 아닌 사람들도 자신의 비즈니스 문제를 해결하기 위해 쉽게 다가갈 수 있는 매력적인 도구입니다.
마치 어려운 기술 용어 대신, 우리에게 익숙한 삶의 언어로 미래에 대해 이야기해주는 다정한 친구 같습니다.
그렇다면 이 사교적이고 유연한 친구, Prophet은 어떤 미래를 우리에게 더 잘 보여줄 수 있을까요?
Prophet은 우리의 어떤 날들을 예측해줄까요?
사람의 마음과 생활 리듬을 잘 이해하는 Prophet은 어떤 상황에서 자신의 진가를 드러낼까요?
이 친구는 ARIMA와는 반대로, 사람들의 활동과 사회적 이벤트가 강하게 반영되는 미래를 예측하는 데 아주 뛰어난 재능을 보입니다.
우리의 일상과 비즈니스 현장에서 Prophet의 활약을 쉽게 찾아볼 수 있습니다.
첫째, 온라인 쇼핑몰의 일일 방문자 수를 예측하는 상황을 떠올려보세요.
쇼핑몰 방문자 수는 요일에 따라 크게 달라집니다.
주말에 쇼핑을 즐기는 사람이 많을 수도 있고, 월요일 오전에 할인 쿠폰을 확인하러 오는 사람이 많을 수도 있습니다.
또한, 연말연시나 가정의 달 같은 특정 시즌에는 선물 구매를 위한 방문이 급증합니다.
명절맞이 특별 할인 행사나, 창립 기념 이벤트 같은 날에는 방문자 수가 폭발적으로 늘어날 것입니다.
Prophet은 이러한 주간 패턴, 연간 패턴, 그리고 불규칙한 이벤트 효과를 모두 자연스럽게 모델에 녹여낼 수 있습니다.
각각의 요소를 따로따로 분석해서 조합하기 때문에, 복잡한 사람들의 소비 패턴을 아주 설득력 있게 예측해 줍니다.
둘째, 서울의 어느 날씨 좋은 주말, ‘따릉이’ 공공자전거의 시간대별 대여량을 예측하는 것도 Prophet의 좋은 무대입니다.
자전거 대여량은 하루 안에서도 뚜렷한 패턴을 보입니다.
출퇴근 시간에는 이용량이 많고, 점심시간 이후 나른한 오후에는 잠시 줄었다가, 저녁 시간에 다시 늘어날 수 있습니다.
또한, 주중과 주말의 이용 패턴은 완전히 다를 것입니다.
여기에 ‘벚꽃 축제 기간’이나 ‘불꽃놀이 축제일’ 같은 특별한 이벤트 정보를 추가해 준다면 어떨까요?
심지어 “내일 비가 올 확률이 80%입니다”와 같은 날씨 정보까지 알려줄 수 있습니다.
Prophet은 이 정보를 활용하여 “아, 이날은 한강 공원 주변의 자전거 수요가 평소보다 훨씬 많겠구나. 하지만 비 예보가 있으니 오후부터는 급감하겠군”이라고 똑똑하게 예측해 낼 것입니다.
셋째, 새로 출시된 스마트폰 모델에 대한 인터넷 검색량을 예측하는 경우도 생각해 볼 수 있습니다.
신제품이 처음 발표되었을 때 검색량은 폭발적으로 증가했다가, 시간이 지나면서 서서히 안정되는 ‘트렌드’의 변화를 보입니다.
Prophet은 이렇게 초반에 급격히 변하다가 점차 완만해지는 성장 곡선을 아주 잘 잡아냅니다.
또한, 경쟁사의 신제품 출시일이나 대규모 통신사 보조금 정책이 발표되는 날짜를 ‘휴일’ 정보처럼 알려주면, 검색량의 변동을 더욱 정교하게 예측하는 데 도움을 줍니다.
이처럼 Prophet은 ‘왜’ 그런 패턴이 나타나는지에 대한 우리의 ‘상식’과 ‘지식’을 적극적으로 활용할 수 있게 해준다는 점에서 매우 강력합니다.
데이터에 중간중간 빈 값이 좀 있어도 괜찮습니다.
Prophet은 그런 문제에 크게 개의치 않는 쿨한 성격을 가졌습니다.
예측 결과를 ‘전체 트렌드’, ‘주간 패턴’, ‘연간 패턴’ 등으로 나누어서 그림으로 보여줍니다.
덕분에 우리가 결과를 해석하기도 훨씬 쉽습니다.
마치 의사가 엑스레이 사진을 보여주며 “이 부분이 전체적인 건강 상태, 이 부분이 최근의 피로도입니다”라고 친절하게 설명해주는 것과 같습니다.
그래서 Prophet은 비즈니스의 성장을 예측하고, 마케팅 전략을 세우고, 재고를 관리하는 등 사람의 의사결정이 중요한 많은 영역에서 사랑받고 있습니다.
하지만 이렇게 다재다능하고 친절해 보이는 Prophet에게도 약점은 없을까요?
물론 있습니다.
너무 사람의 마음에만 집중하다 보면, 가끔 중요한 것을 놓치기도 한답니다.
다음 이야기에서 그 아쉬운 점들을 살펴보겠습니다.
너무 믿으면 가끔 길을 잃기도 한답니다
언제나 친절하고 유연해 보이는 친구 Prophet도 완벽하지는 않습니다.
그의 장점이 때로는 단점으로 작용하기도 합니다.
이 점을 이해하는 것은 Prophet을 더욱 현명하게 활용하는 데 꼭 필요한 과정입니다.
첫째, Prophet은 때때로 ‘지나치게 유연해서’ 문제를 일으킬 수 있습니다.
Prophet은 데이터의 트렌드 변화를 아주 민감하게 감지하고, 그에 맞춰 예측 모델을 쉽게 바꾸는 경향이 있습니다.
이것은 실제 트렌드가 변했을 때는 큰 장점입니다.
하지만 사실은 별 의미 없는 사소한 데이터의 출렁임(노이즈)에도 과민하게 반응할 수 있다는 뜻이기도 합니다.
마치 팔랑귀를 가진 사람처럼, 작은 소문에도 마음이 쉽게 흔들리는 것과 같습니다.
이러한 성향 때문에, 실제로는 존재하지 않는 가짜 트렌드를 만들어내어 미래를 잘못 예측하는 ‘과적합’이라는 실수를 저지를 위험이 ARIMA보다 상대적으로 높습니다.
과거의 모든 작은 점들을 설명하려다 보니, 정작 미래로 나아가는 큰 길을 놓쳐버리는 셈입니다.
둘째, Prophet은 ARIMA만큼 ‘정교한 통계적 분석’에는 약한 모습을 보입니다.
Prophet의 예측 방식은 직관적이고 이해하기 쉽습니다.
하지만 데이터가 가진 내적인 자기상관성, 즉 ‘어제의 값이 오늘의 값에 미치는 직접적인 영향’을 ARIMA처럼 깊이 있게 파고들지는 않습니다.
만약 우리가 예측하려는 데이터가 휴일이나 계절성 같은 외부 요인의 영향이 거의 없고, 오직 데이터 자체의 과거 흐름에만 강하게 의존하는 경우라면 어떨까요?
예를 들어, 안정적인 화학 공정에서 측정되는 1분 단위의 온도 데이터 같은 경우입니다.
이런 상황에서는 인간적인 해석을 덧붙이는 Prophet보다, 묵묵하게 데이터의 내적 규칙성만 파고드는 ARIMA가 훨씬 더 정확한 예측을 해낼 가능성이 높습니다.
Prophet에게는 이런 문제가 너무 단순하고 재미없게 느껴질지도 모릅니다.
셋째, Prophet은 설정이 쉽다는 장점 이면에, 세밀한 조정을 위한 기능이 부족하다는 단점을 안고 있습니다.
ARIMA는 비록 어렵지만, 전문가가 마음먹고 달려들면 아주 미세한 부분까지 조정하여 예측의 정확도를 극한까지 끌어올릴 수 있는 여지가 있습니다.
마치 수동 카메라가 조작은 어렵지만, 작가의 의도에 따라 심도와 셔터 속도를 정밀하게 제어할 수 있는 것과 같습니다.
반면에 Prophet은 대부분의 과정을 자동화하여 편리함을 제공합니다.
하지만 그만큼 우리가 개입하여 모델의 작동 방식을 세밀하게 바꿀 수 있는 여지는 적습니다.
자동 카메라처럼 누구나 쉽게 좋은 사진을 찍을 수 있지만, 아주 특별한 예술 사진을 찍기에는 한계가 있는 것과 비슷합니다.
Prophet은 ‘사람의 행동 패턴’이 녹아있는 대부분의 비즈니스 데이터에서 정말 훌륭한 성능을 보여줍니다.
하지만 데이터가 매우 안정적이거나, 통계적인 특성이 더 중요한 경우에는 ARIMA라는 클래식한 장인의 지혜가 더 나은 선택일 수 있습니다.
결국 완벽한 도구는 없습니다.
상황에 맞는 최적의 도구를 선택하는 지혜가 필요할 뿐입니다.
자, 이제 우리는 두 명의 예언가, 꼼꼼한 통계학자 ARIMA와 사교적인 트렌드 분석가 Prophet의 성격과 장단점을 모두 알게 되었습니다.
그렇다면 이제 가장 중요한 질문에 답을 할 차례입니다.
만약 내가 작은 가게를 운영하는 사장님이라면, 우리 가게에는 어떤 예언가가 더 어울릴까요?
그래서, 제 가게에는 어떤 예언가가 더 어울릴까요?
이제 이론적인 설명에서 벗어나, 우리의 삶과 가장 가까운 곳으로 여행을 떠나보겠습니다.
당신이 정성을 다해 맛있는 빵을 굽는 작은 동네 빵집의 사장님이라고 상상해 봅시다.
당신의 가장 큰 고민 중 하나는 “내일 빵을 얼마나 구워야 할까?”일 것입니다.
너무 많이 구우면 재고가 남아 손해를 봅니다.
너무 적게 구우면 손님을 놓쳐 아쉬운 마음이 듭니다.
이때, 우리의 두 예언가 친구 ARIMA와 Prophet이 당신을 돕기 위해 찾아왔습니다.
누구의 조언을 듣는 것이 더 좋을까요?
정답은 ‘상황에 따라 다르다’입니다.
그리고 어떤 질문을 던지느냐에 따라 선택은 달라집니다.
먼저, ‘평일의 안정적인 식빵 판매량’을 예측하고 싶다고 해봅시다.
식빵은 매일 아침 출근길에 직장인들이나 등교하는 학생들이 꾸준히 사가는, 빵집의 가장 기본적인 품목입니다.
화요일의 판매량은 월요일의 판매량과 비슷하고, 수요일의 판매량은 화요일과 비슷할 가능성이 높습니다.
특별한 이벤트보다는, 과거의 판매량 자체가 다음 날의 판매량을 예측하는 가장 중요한 단서가 됩니다.
이런 상황에서는 누구의 도움이 더 유용할까요?
바로, 꼼꼼한 통계학자 ARIMA입니다.
ARIMA는 지난 몇 주간의 평일 식빵 판매량 데이터를 깊이 있게 분석할 것입니다.
그 안에 숨겨진 미세한 패턴과 자기상관성을 찾아낼 것입니다.
그리고 “과거 데이터를 분석해 본 결과, 내일은 약 53개의 식빵이 팔릴 것으로 보입니다” 와 같이 아주 구체적이고 안정적인 예측치를 제시해 줄 것입니다.
이번에는 다른 질문을 던져봅시다.
“다음 주 크리스마스 시즌에 케이크가 얼마나 팔릴까요?”
크리스마스는 일 년에 단 한 번 있는 아주 특별한 날입니다.
이날의 케이크 판매량은 평일 식빵 판매량과는 전혀 다른 규칙을 따릅니다.
작년 크리스마스, 그리고 재작년 크리스마스의 데이터가 매우 중요해집니다.
또한, 크리스마스가 주말과 겹치는지, 평일인지에 따라서도 판매량은 크게 달라질 것입니다.
이런 복잡하고 이벤트 중심적인 예측에는 누가 더 뛰어날까요?
네, 바로 사람의 마음을 잘 아는 Prophet입니다.
우리는 Prophet에게 ‘크리스마스 이브’와 ‘크리스마스 당일’을 특별한 휴일로 지정해 줄 수 있습니다.
Prophet은 과거의 크리스마스 데이터를 학습합니다.
그리고 “올해 크리스마스 시즌에는 케이크 판매량이 평소의 5배까지 급증할 가능성이 있습니다. 특히 이브 저녁에 수요가 집중될 것입니다” 와 같은 통찰력 있는 조언을 해줄 것입니다.
ARIMA는 ‘크리스마스’라는 이벤트의 의미를 이해하지 못하기 때문에, 이런 예측을 하기가 훨씬 더 어렵습니다.
정리해 볼까요?
만약 당신의 예측 문제가, 외부 영향이 적고 과거 데이터의 흐름이 중요한 ‘안정적인’ 상황이라면 ARIMA가 좋은 선택입니다. (예: 매일의 우유 재고 예측, 공장의 부품 수요 예측)
반면, 계절성, 요일 효과, 특정 휴일이나 이벤트의 영향이 크고, 비즈니스의 성장 추세가 변하는 ‘역동적인’ 상황이라면 Prophet이 훌륭한 파트너가 되어줄 것입니다. (예: 휴가철 펜션 예약률 예측, 신제품 출시 후 반응 예측)
여기서 한 걸음 더 나아가, 두 친구의 지혜를 모두 빌리는 현명한 방법도 있습니다.
예를 들어, ARIMA를 통해 매장의 기본적인 일일 방문객 수의 기준선을 예측합니다.
그 후 Prophet을 사용해 “이번 주말은 3일 연휴이니, 기본 방문객 수에 추가로 30%가 더 올 수 있습니다” 와 같이 이벤트 효과를 덧붙여 최종 예측을 완성하는 것입니다.
중요한 것은 어떤 모델이 무조건 더 우월하다고 말할 수 없다는 사실입니다.
망치와 드라이버는 각자의 쓰임새가 다를 뿐, 어느 하나가 더 좋은 도구라고 할 수 없는 것과 같습니다.
우리의 역할은 우리가 해결하고 싶은 문제가 어떤 성격을 가졌는지 잘 들여다보고, 그에 맞는 가장 적절한 도구를 선택하는 것입니다.
이처럼 기술은 정답을 알려주는 마법 지팡이가 아닙니다.
우리가 더 나은 질문을 던지고 현명한 결정을 내릴 수 있도록 돕는 ‘조력자’입니다.
자, 이제 기술에 대한 막연한 두려움이 조금은 가셨나요?
이쯤에서 많은 분들이 마음속 깊이 품고 있던 가장 근본적인 질문을 꺼내 볼 시간입니다.
AI가 내 일자리를 빼앗을까요? 아니면 든든한 조수가 될까요?
ARIMA와 Prophet의 이야기를 듣고 나니, 한편으로는 신기하고 편리하겠다는 생각이 듭니다.
하지만 다른 한편으로는 이런 똑똑한 기술들이 결국 사람의 자리를 위협하지는 않을까 하는 불안한 마음이 드는 것도 사실입니다.
특히 “미래를 예측한다”는 능력은 과거에는 소수의 전문가나 경험 많은 장인만이 가질 수 있었던 특별한 지혜였으니까요.
결론부터 말씀드리자면, 두려워하지 않으셔도 괜찮습니다.
ARIMA와 Prophet 같은 AI 기술은 우리의 ‘일자리’를 빼앗는 경쟁자가 아닙니다.
우리의 ‘일’을 도와주는 강력한 ‘조수’가 될 가능성이 훨씬 높습니다.
다시 동네 빵집 사장님의 예로 돌아가 보겠습니다.
Prophet이 “다음 주부터 장마가 시작되니, 비 오는 날 잘 팔리는 팥빵의 재료를 미리 준비해두세요” 라고 조언해 주었다고 합시다.
이 예측 덕분에 사장님은 재료 부족으로 빵을 못 파는 상황을 피하고, 손님들의 만족도를 높일 수 있었습니다.
여기서 Prophet이 사장님의 자리를 빼앗았나요? 아닙니다.
오히려 사장님이 더 중요한 일에 집중할 수 있도록 도와주었습니다.
데이터를 분석하고 예측하는 데 쏟았던 시간을 아낄 수 있게 되었습니다.
그 시간에 새로운 빵 레시피를 개발하거나, 손님들과 더 따뜻한 대화를 나누거나, 가게 인테리어를 개선하는 데 사용할 수 있게 된 것입니다.
AI는 ‘무엇을’ 예측할지에 대한 힌트는 줄 수 있습니다.
하지만 그 예측을 바탕으로 ‘어떻게’ 행동할지를 결정하는 것은 오직 사람의 몫입니다.
그리고 ‘왜’ 그렇게 해야 하는지에 대한 의미를 부여하는 것 또한 사람만이 할 수 있습니다.
ARIMA가 다음 달 재무 데이터를 예측해 줄 수는 있습니다.
하지만 그 숫자를 보고 우리 회사의 새로운 비전을 제시하는 것은 최고경영자의 역할입니다.
Prophet이 마케팅 행사의 효과를 예측해 줄 수는 있습니다.
하지만 고객의 마음을 움직이는 감동적인 광고 문구를 만드는 것은 마케터의 창의력입니다.
기술은 차가운 데이터를 분석하지만, 그 결과에 따뜻한 숨결을 불어넣어 가치 있는 결정으로 만드는 것은 결국 우리 자신입니다.
이것은 ‘업무의 자동화’이지 ‘인간의 대체’가 아닙니다.
우리는 반복적이고 지루한 계산 작업을 AI 조수에게 맡기고, 인간 고유의 영역인 창의성, 공감 능력, 전략적 사고에 더 많은 에너지를 쏟을 수 있게 됩니다.
오히려 이러한 기술들은 우리에게 새로운 기회를 열어줄 것입니다.
과거에는 거대한 자본과 수많은 분석가를 가진 대기업만이 누릴 수 있었던 데이터 기반의 의사결정.
이제는 작은 가게의 사장님도, 1인 기업가도 손쉽게 활용할 수 있는 시대가 열리고 있습니다.
이는 마치 모두에게 공평하게 좋은 연장이 주어진 것과 같습니다.
중요한 것은 그 연장을 가지고 무엇을 만들 것인가 하는 우리의 상상력과 의지입니다.
AI가 그린 그림을 보고 새로운 영감을 얻는 디자이너처럼, AI가 예측한 미래를 참고하여 더 나은 오늘을 만들어가는 우리들의 모습이 앞으로의 미래일 것입니다.
두려움의 대상이 아니라, 우리의 잠재력을 한 단계 끌어올려 줄 든든한 파트너로 AI를 바라봐 주세요.
그렇다면 이제 이 새로운 파트너와 함께, 우리는 어떤 첫걸음을 뗄 수 있을까요?
두려움 대신 설렘으로, 첫걸음을 떼는 법
지금까지 긴 이야기를 함께해주신 여러분의 마음속에는 아마 여러 가지 감정이 교차하고 있을 겁니다.
새로운 기술에 대한 호기심, 여전히 남아있는 약간의 막막함, 그리고 ‘나도 한번 해볼 수 있을까?’ 하는 작은 기대감까지 말입니다.
그 작은 기대감을 현실로 만드는 첫걸음은 생각보다 거창하지 않습니다.
지금 당장 어려운 프로그래밍 언어를 배우거나, 복잡한 수학 공식을 외울 필요는 더더욱 없습니다.
가장 중요한 첫걸음은 우리의 ‘관점’을 살짝 바꾸는 것에서 시작합니다.
바로 우리 주변의 세상을 ‘데이터의 눈’으로 바라보는 연습입니다.
예를 들어, 매일 이용하는 출근길 지하철을 한번 떠올려보세요.
어제보다 오늘 사람이 더 많은 것 같다면, 왜 그럴까요?
혹시 월요일이라서? 비가 와서? 근처에 큰 행사가 열려서?
이런 작은 질문을 던지고 그 이유를 추측해보는 모든 과정이 바로 시계열 분석의 시작입니다.
첫 번째 단계는 ‘데이터 일기’를 쓰는 것입니다.
내가 운영하는 가게의 하루 매출을 그냥 숫자로만 보지 마세요. 그 안에 숨겨진 이야기를 찾아보는 겁니다.
날씨가 맑은 날에는 어떤 메뉴가 더 잘 나갔는지, 월급날 직후인 25일에는 객단가가 평소보다 높았는지, 작은 메모를 남겨보는 습관을 들여보세요.
“오늘은 비가 와서 그런지 따뜻한 라떼 주문이 많았다.”
“근처 회사에서 단체 주문이 있어서 오후 매출이 급증했다.”
이렇게 모인 당신만의 소중한 기록과 관찰이 바로 세상에서 가장 정확한 예측 모델의 밑거름이 됩니다.
ARIMA나 Prophet 같은 도구들은 결국 이 데이터를 먹고 자라는 똑똑한 아기와 같습니다.
좋은 데이터를 꾸준히 주는 것만으로도, 우리는 이미 훌륭한 분석가의 자질을 갖추기 시작한 것입니다.
두 번째 단계는 익숙한 도구로 ‘데이터와 친해지는 것’입니다.
조금 더 용기를 내보고 싶다면, 엑셀이나 구글 스프레드시트 같은 우리에게 익숙한 도구를 활용해 보세요.
매일의 데이터를 간단한 그래프로 그려보기만 해도, 눈으로는 보이지 않던 놀라운 패턴을 발견하게 될지 모릅니다.
매주 수요일마다 매출이 솟구치는 것을 발견할 수도 있고, 매년 특정 달에 매출이 뚝 떨어지는 흐름을 찾아낼 수도 있습니다.
이것이 바로 ‘계절성’을 내 눈으로 직접 확인하는 감동적인 순간입니다.
기술을 배운다는 것을 ‘공부’라고 생각하면 부담스럽고 힘이 듭니다.
하지만 내가 가장 잘 아는 나의 일, 나의 삶에 대한 ‘숨은 그림 찾기’ 놀이라고 생각하면 어떨까요?
정답을 맞혀야 한다는 압박감 없이, 그저 호기심을 가지고 데이터를 탐색하는 즐거움을 느껴보는 겁니다.
세상은 아주 빠르게 변하고 있고, 앞으로 우리가 마주할 기술들은 오늘 이야기한 것보다 훨씬 더 놀라울지도 모릅니다.
하지만 모든 기술의 뿌리에는 결국 ‘사람을 돕고 싶다’는 따뜻한 마음이 있다는 것을 기억해주세요.
그 본질을 이해한다면, 우리는 어떤 새로운 기술 앞에서도 주눅 들지 않고 당당하게 그것을 우리의 도구로 활용할 수 있는 지혜를 얻게 될 것입니다.
오늘 우리는 미래를 예측하는 두 명의 예언가, ARIMA와 Prophet을 만났습니다.
한 명은 과거의 기록을 누구보다 신뢰하는 꼼꼼한 학자였습니다.
다른 한 명은 사람들의 생활 리듬에 귀 기울이는 다정한 분석가였습니다.
누가 더 뛰어난지를 가리는 것은 이제 무의미하다는 것을 우리는 압니다.
중요한 것은 그들의 목소리에 귀를 기울여, 우리의 오늘을 더 나은 방향으로 이끌어 가려는 우리 자신의 의지입니다.
기술의 파도가 거세게 밀려온다고 해서 두려움에 눈을 감지 마세요.
오히려 그 파도를 타고 더 넓은 세상으로 나아갈 수 있는 멋진 서핑보드를 얻었다고 생각해보면 어떨까요?
오늘의 이야기가 여러분이 그 서핑보드 위에 올라서는 작은 용기가 되었기를 진심으로 바랍니다.
미래는 예측하는 것이 아니라, 만들어가는 것이라고 합니다.
그리고 이제 우리의 손에는 그 미래를 조금 더 지혜롭게 만들어갈 수 있는 아주 멋진 도구들이 쥐어져 있습니다.
토론
댓글