아직 답변이 없습니다
클라우드 환경의 장점을 최대한 활용하는 아키텍처가 효과적이고 탄탄한 아키텍처라고 생각됩니다. 데이터 양이 증가하고 사용자가 증가하더라도 중단 없이 플랫폼을 활용할 수 있고 가치 있는 결과물을 창출해 낼 수 있도록 구성하는 것이 중요하고 무엇보다 사용자 환경에 적합한 아키텍처를 구성하는 것이 중요할 것 같습니다.
아직 답변이 없습니다
Bedrock 은 ChatGPT 에 대응하는 generative AI 이며, 향후 출시될 예정으로, 현재는 내부 테스트 중입니다. 정확한 설명은 차후에 드릴 수 있을 겁니다.
유다슬님~ 이 질문은 별도로 답변 드리겠습니다. :)
일반적으로는 계획 및 준비 - 데이터 전처리 - 분석 및 보델링 - 결과 분석 및 시각화 - 배포 및 모니터링 단계로 구성됩니다. 이 단계를 최소화 시키기 위해서는 자동화를 통해 데이터 수집, 전처리, 분석, 시각화, 배포 등의 작업을 자동화하여 반복적이고 시간 소모적인 작업을 최소화하거나 자동화된 프로세스와 워크플로우를 구축하여 효율성을 향상시킬 수 있으며, 데이터의 표준화를 통해서 일관성 유지 및 다양한 시스템과의 통합을 강화할 수 있습니다.
역시 데이터 표준화가 중요하군요....답변 감사합니다.
데이터 파이프라인을 어떻게 구성하느냐에 따라 신규 추가된 필드를 BI까지 얼마나 손쉽게 반영하는지가 달라질 수 있습니다. 대부분의 분석 플랫폼이 새로운 형태의 데이터 유입을 받아들이기 쉽지 않은 구조로 구축이 이루어지기 때문에 추가 개발이 필요한 경우가 많습니다. 하지만 처음부터 확장성을 고려한 개발은 아키텍처의 설계 및 구축에 많은 시간과 비용이 들 수 있어 가치 판단이 필요한 부분입니다.
데이터 Fabric은 중앙 집중화된 데이터 인프라로서 중앙 IT 조직이 데이터를 통제하고 관리하는 반면, 데이터 Mesh는 도메인 소유권과 자율성을 강조하여 각 도메인이 자체적으로 데이터를 관리하고 통제하는 분산화된 아키텍처입니다.
잠시 뒤에 나오겠지만 기업에서 보유하고 있는 데이터 셋이 어떠한 가치를 만들어 낼수 있는지 확인하는 것이 필요합니다. 아무리 좋은 서비스들을 활용해서 좋은 아키텍처를 구성한다 하더라도 데이터 품질이 떨어진다면 가치 있는, 의미 있는 결과물을 도출하기 어렵게 됩니다.
데이터 분석 플랫폼은 정해진 형태가 있는 것이 아니라 사용자의 요구사항에 따라 필요한 서비스를 구성하는 형태로 구축이 이루어집니다. 따라서 데이터 카탈로그 기능 뿐 아니라 데이터 수집 - 처리 - 분석 - 출력 등의 데이터 수명 주기 내의 모든 서비스와 기능을 제공할수 있고 이러한 기능들을 자동화 혹은 손쉽게 활용할 수 있는 기능을 제공하는 형태이기 때문에 다양한 이점을 가질 수 있습니다.
해당 서비스는 공식 런칭 이전으로, Preview 테스트를 위해 준비하고 있는 상황입니다.
현재는 preview 상태 ( 일종의 베타 서비스 ) 이고, 조만간 출시될 예정입니다.
이 부분은 저희도 확인이 필요할 것 같습니다. 확인되면 이후 정보 전달 드리겠습니다.
도입사 주도로 통합적인 아키텍처 설계나 구축 운영은 가능합니다. 데이터메쉬나 데이터패브릭의 핵심은 도메인 소유권과 자율성을 강조하는 것입니다. 도입사는 서드파티 플랫폼을 도입하면서도 데이터의 도메인 소유권과 협업을 보장할 수 있는 아키텍처 및 운영 모델을 설계할 수 있습니다.
COE(센터 오브 엑셀런스) 조직을 구성하여 각 도메인 전문가를 파견받아 데이터 카타로그를 관리하는 것은 하나의 해결책일 수 있습니다. 이렇게 구성된 COE 조직은 IT 부서와 현업 부서 간의 다리 역할을 수행하며, 데이터 카타로그 관리와 관련된 중재 역할을 할 수 있습니다. 이 경우, IT와 현업 간의 협업과 소통이 원활하게 이루어지며, 데이터 패브릭 구현의 효과를 동일하게 얻을 수 있습니다.
답변 감사합니다. 모든게 우선 인력 양성이 중요하네요...
AWS에서 제공하는 대부분의 Storage 및 DB 서비스에서 다양한 형태의 압축을 제공하고 있고 압축된 상태로의 검색 및 연산 기능을 제공하고 있습니다.
현재로서는 데이터메쉬(Data Mesh)와 데이터패브릭(Data Fabric)에 대한 벤더 간의 표준화된 참조모델이 없습니다. 데이터메쉬와 데이터패브릭은 기업의 데이터 아키텍처와 조직 문화에 따라 다양한 형태로 구현될 수 있가 때문에 벤더들은 이러한 개념을 지원하기 위해 제품과 서비스를 개발하고 있는 중입니다.
네, 추후 다시보기 영상과 함께 웨비나 페이지에서 공유해 드릴 예정입니다 :)
데이터의 수집은 앞으로의 필요를 예상하여 이루어지기 때문에 데이터를 활용하는 입장에서 필요한 데이터와 불필요한 데이터가 섞여 있어 불필요한 비용을 지불하는 경우가 많을 것으로 예상됩니다. 데이터를 선별하는 경험과 인사이트를 보유하는 것이 좋은 데이터를 선택해서 기회 비용을 절감할 수 있는 방법일 것 같습니다.
일단은 워크로드를 분석해서, 종량제 과금 방식의 serverless 가 비용 효율적인지, 아니면 일정 자원을 프로비저닝 해 놓고 계속 사용하는 것이 좋은지, 비교를 하실 필요가 있습니다.
데이터마트는 데이터 웨어하우스와 관련된 개념으로, 특정한 주제나 부서에 초점을 맞춘 데이터 저장소라고 보시면 되고, 데이터메쉬는 데이터 조직과 아키텍처의 개념으로, 기업 내의 데이터 생태계를 구축하는 방법론입니다
데이터 카탈로그는, 데이터 플랫폼을 사용자들이 실질적으로 잘 사용하기 위한 , 데이터 목록/정보 ( 테크 메타, 비즈니스 목적의 메타 ) 를 제공하는 서비스라고 보시면 될 듯합니다.