Square, W&B를 통해 모든 규모의 기업에 대화형 AI 제공
"이제 훈련할 때 S3와 대화하지 않습니다. 저장 위치에 대한 세부 정보를 알 필요가 없습니다. Artifacts 레지스트리와 대화하기만 하면 모든 것에 대한 계보를 추적할 수 있습니다."
Ethan Rosenthal
Staff AI Engineer
고객 중심 회사
사업주로서, 당신이 말하는 방식과 행동은 당신의 행동에 많은 영향을 미칩니다.
고객 관계를 구축하는 것은 장기적인 성공을 보장하는 데 중요합니다. 그리고 좋은 고객 관계는 고객 경험, 즉 사람들이 귀사와 거래하는 것이 어떤 것인지에 기반을 둡니다. 단 한 번의 상호작용이 극찬을 받는 리뷰와 엄청난 불만의 차이가 될 수 있습니다.
하지만 지속적으로 효과적인 고객 커뮤니케이션을 제공하려면 시간과 노력, 그리고 때로는 인내심이 필요합니다. 바로 여기서 Square가 등장합니다.
신뢰성, 사용 편의성, 합리적인 비용으로 유명한 Square의 사명은 기업이 경제에 참여하고 번영하도록 돕는 것입니다. 그리고 Square의 ML 팀은 일상적인 기업가가 각 고객 상호 작용을 성공으로 이끌 수 있도록 한 단계 더 나아가는 도구를 개발하고 있습니다.
Square 메시지 및 Square Assistant
미용실, 레스토랑 또는 부티크를 소유하든 사업을 관리한다는 것은 고객과 사려 깊은 대화를 나누는 것을 의미합니다. 종종 이러한 소통은 편리한 문자 메시지의 형태로 제공되며 공급업체에 체크인하고 직원에게 방향을 제시하는 것부터 고객 약속을 조정하는 것까지 모든 종류의 이유가 있을 수 있습니다. 이러한 일대일 메시지는 기업이 매일 운영을 운영하는 데 의존하는 것입니다.
Square는 모든 대화를 추적하는 데 도움이 되도록 모든 고객 커뮤니케이션을 한곳에서 보관하도록 설계된 메시징 허브인 Square Messages를 출시했습니다. 문자 메시지, 영수증, 송장, 피드백 등 모든 것을 Square Messages를 통해 보내고 받을 수 있습니다. 하지만 그게 전부는 아닙니다. 바쁜 기업가는 고객에게 실시간으로 응답하는 자동 메시징 도구인 Square Assistant도 사용할 수 있습니다. 사업주는 이 도구를 개인 AI 비서라고 생각할 수 있습니다.
예를 들어 약속 관리를 생각해 보세요. 고객이 약속을 확인, 일정 변경 또는 취소하고 싶어하는 경우 Square Assistant는 고객에게 즉시 답장하여 각 시나리오에 대한 솔루션을 제공할 수 있습니다. Assistant를 활용하는 것의 장점은 모든 고객 상호 작용이 직접적이고 빠르며 전문적이라는 것입니다.
규모에 따른 머신 러닝
두 도구를 성공적으로 만들기 위해 배후에서 무슨 일이 일어나고 있을까요? 강력한 자동 재교육 프레임워크, 프로덕션에 적합한 메트릭, 모든 모델에 대한 라이프사이클의 완전한 계보. Square에서 W&B는 이러한 핵심 항목 각각에서 역할을 했습니다.
Square를 사용하는 고객과 기업 간에는 매초 대화가 이루어집니다. 이러한 메시지에서 생성된 모든 새 데이터를 사용하여 Square는 이전 달에 발생한 대화 데이터로 모델을 훈련하는 GPT 스타일 대규모 언어 모델인 모델의 자동 재훈련을 설정합니다. 모든 훈련 데이터와 모델은 W&B에 저장되어 전체 팀의 진행 상황을 체계적이고 표준화된 중앙 위치에 유지합니다.
거기에서 Square는 또한 모델의 단계에 따라 W&B의 모델에 태그를 지정합니다. 그리고 Square는 모델을 분류하여 프로덕션에 배포되는 모델을 결정하는 고유한 방식을 가지고 있습니다.
모델들의 전투
Square가 매달 새로운 데이터로 모델을 자동으로 재교육할 때, 처음에는 Shadow Model로 배포됩니다. 여기서 모델은 백그라운드에서 조용히 사용됩니다. 텍스트를 생성하지만 아무도 보지 못합니다. 그런 다음 Shadow Model은 Challenger Model로 승격되고, 이름에서 알 수 있듯이 기존 모델인 Champion Model에 도전합니다. Challenger와 Champion은 자동화된 A/B 테스트를 거치고, Challenger의 성과가 더 좋으면 새로운 Champion 모델로 승격됩니다. 이 프로세스는 W&B뿐만 아니라 모델 교육을 위한 데이터 저장소와 GPU 액세스를 포함하여 Amazon Web Services에서 제공하는 확장 가능한 인프라를 활용합니다.
섀도우 모드에서의 요청 라우팅:
A/B 테스트 중 라우팅 요청:
모델이 그림자 → 도전자 → 챔피언으로 이동하는 방법에 대한 Square의 “작업” 프레임워크:
생산 준비 메트릭
이 모든 과정에서 W&B는 진실의 원천 역할을 하여 모델 버전을 만들고 Shadow, Challenger, Champion의 세 단계를 거쳐 전환합니다. W&B를 통해 Square에서 실시간으로 학습을 모니터링할 수 있으므로 Square에서 모델을 빠르고 반복적으로 디버깅하여 배포를 위한 성능 지표가 충족되도록 할 수 있습니다. Square의 수석 관리자인 Gabor Angeli는 “Weights & Biases를 운영의 두뇌로 사용합니다. 이를 통해 최고 품질의 모델이 프로덕션에 투입됩니다.”라고 말했습니다.
종단 간 계보
이제 Square에서 다양한 모델을 활용하면서 모델 계보를 유지하는 것이 점점 더 중요해지고 있습니다. 여기서 W&B Artifacts가 등장합니다. Artifacts를 사용하면 Square는 다른 사람에게 묻거나 추측하지 않고도 모델을 만드는 데 어떤 데이터 세트를 사용했는지 정확히 알 수 있습니다.
“이제 우리가 훈련할 때 S3와 통신하지 않습니다. 어디에 저장되어 있는지에 대한 세부 정보를 알 필요가 없습니다. 우리는 Artifacts 레지스트리와 통신하기만 하면 모든 것의 계보를 추적할 수 있습니다.” Square의 AI 엔지니어링 관리자인 Ethan Rosenthal이 말했습니다.
그 외에도 Artifacts는 Square가 새로운 모델을 구축하고 기존 Champion 모델과 비교 테스트할 때 자신감을 갖는 데 도움이 되었습니다. 이제 Square는 모델 성능을 비교할 때 모델이 동일한 데이터로 학습되고 동일한 테스트 데이터로 평가된다는 점을 확신할 수 있습니다. 이전 솔루션과 비교했을 때 Square는 기본적인 실험 추적 기능만 있었고 ML 파이프라인의 모든 단계를 추적하는 데 도움이 되는 Artifacts와 유사한 기능은 없었습니다.
Square에 특히 유익한 W&B의 또 다른 측면은 W&B 보고서입니다. 보고서를 통해 한 팀원에서 다른 팀원으로 피드백을 쉽게 전달할 수 있습니다. 한눈에 보기에 동적 문서는 모든 실행과 관련 매개변수, 메트릭, 로그 및 코드를 표시하여 작업의 전체 맥락을 제공합니다. Ethan은 “보고서를 만드는 것은 모든 사람이 무엇을 하고 있는지 파악하는 데 훨씬 더 도움이 되었고, 내가 읽을 때쯤이면 아마도 오래되었을 메트릭이 있는 Google 시트를 받는 것과는 대조적이었습니다.”라고 설명합니다.
미래의 사업
점점 더 많은 근로자가 9-5 일상을 떠나 스스로의 상사가 되면서 Square와 같은 솔루션을 갖는 것이 더욱 중요해졌습니다. Square는 처음부터 항상 기업의 성장, 번영, 성공을 돕는 데 주력해 왔습니다. 그리고 그 사명은 사라지지 않을 것입니다.
Square가 기업가가 더 똑똑하게 일하고 시간을 절약할 수 있는 도구를 계속 구축함에 따라 포괄적인 MLOps 플랫폼을 갖는 것이 핵심입니다. W&B를 활용하면 Square는 프로덕션을 위한 최상의 모델을 개발하고, 서로의 작업을 기반으로 학습 내용을 공유하고, 데이터와 모델 계통을 완벽하게 이해하는 데 집중할 수 있습니다. Square와 같은 사명 중심 조직의 경우 엔터프라이즈급 엔드투엔드 MLOps 플랫폼을 갖는 것은 협상의 여지가 없으며, 놀랍지 않게도 W&B가 바로 그것입니다.