【Glue系列文章】从源系统到目标系统:数据目标

在这个Glue系列文章中,我想为您提供关于SAP与基于云的数据仓库或其他相关技术之间紧密高效集成的见解和技巧。



在之前的文章中,解释了很多关于集成的目的(例如,当您有SAP数据可用时,您可以为业务用户构建哪些应用程序或场景,以及云与其他数据源和现代AI算法的强大功能,具体内容可至文章底部查看往期回顾链接)。

无论您选择哪种技术进行集成,许多概念甚至提示和技巧都是相关的。然而,在SNP,我们有一个现成的解决方案,“SNP Glue”,它涵盖了所有这些功能和要求。


云数据集成需要哪些 SAP data targets

本文是关于data targets的,您可能希望将其用于SAP到任何云平台的数据集成。基本上只有三个data targets (在现实生活中会比这复杂得多):

  • anyDB
  • anyCloud
  • files

“anyDB”是SAP创造的一个术语,它涵盖了SAP HANA之前支持的所有数据库,基本上是老的Oracle / IBM DB2(或DB4,或DB6) / Microsoft SQL Server等数据库。即使在云时代,我们也看到很多这样的数据库,有时作为SAP数据库的辅助工具运行,有时在云中运行。使用SNP Glue,这是很容易完成的集成场景之一,因为大多数SAP数据源都是关于结构化数据的,因此技术数据复制(包括模式创建和增量捕获)的复杂性不是很大。


我们将SAP的术语“anyDB”改编为“anyCloud”,它涵盖了一个非常大的领域。它的范围从简单的基于云的数据库(如Azure SQL)到成熟的基于云的数据仓库(如Snowflake)(它可以在多个云环境中运行)。对于云工程师或程序员来说,这可能非常简单和透明,但如果您处于不同的职位(例如,你有预算和任务来为你的公司实施云战略),那么这可能会非常令人困惑。


SNP Glue的目标

SNP Glue集成解决方案的宏伟目标是支持现有的每一种云技术。今天,我们已经覆盖了很多领域,并在新技术出现和被客户采用时不断添加适配器。我们支持所有常用的相关技术:

■ AWS,例如S3和redshift

■ 谷歌的GCP,例如Big Query

■ Databricks

■ Microsoft Azure,例如ADLS gen 1 和 2以及AzureSQL

■ Snowflake,我们看到客户基于此数据仓库技术提供的可扩展性和可能性的巨大需求

当然我们仍然支持Hadoop,尽管云服务和Snowflake更现代,更受客户的青睐。


选择数据集成解决方案之前的最终注意事项

我们用两个非常不同的评论或旁注来结束这篇文章。第一个是非常技术性的,是关于集成的底层技术。第二种是功能和场景驱动的。不过,这两个注释都有一个共同点:您需要选择一个能够很好地包装并涵盖所有这些不同技术和特性的解决方案。你肯定不想为了数据集成而从头开始实现所有这些工作,你肯定想要一个完整的解决方案,以一种良好方式维护,以跟上随着云技术的发展而出现的新技术(例如,ADLS第一代和ADLS第二代之间的身份验证工作方式非常不同!)。


在底层,SNP Glue中的集成技术包括从简单的ODBC / JDBC到CSV文件(在大型机时代之后,这确实仍然是一件事!)到本机适配器(例如通过REST api)。重要的是,作为一个实现SAP到云集成的公司,您希望选择一种能够很好地包装所有这些技术的技术,并且它还涵盖了每个云提供商通常原生的身份验证和安全性。


最后,您选择的data targets应该适合您的用例。我们基本上看到两种类型:

■ 基于消息和实时数据复制的集成。在基于消息的集成(或流)的情况下,数据不会在表或存储中结束,而是以消息的形式传递给消息代理,例如KAFKA。这些消息通常是存储在JSON结构中的分层嵌套数据。

■ 更经典的集成方法是全表加载,然后是增量捕获(又名CDC)和近实时数据复制。在初始满负载之后,传输相当小的数据包。这通常都是基于经典数据库表而不是业务对象。


您的数据集成解决方案必须能为您的业务提供支持

至关重要的一点:任何集成解决方案都必须授权和启用——而不是限制。您不希望一种技术被锁定,而希望一种解决方案涵盖所有情况。SNP Glue就是这样一个解决方案,它允许客户

将SAP集成到任何云或数据库技术中,同时将不同的技术甚至方法集成到一个cockpit和一种技术中。

【Glue系列文章1】SAP数据如何集成到任意云平台 – snpgroup

【Glue系列文章2】从源系统到目标系统:SAP数据源和SNP Glue – snpgroup


更多新闻资讯请点击:

如何将SAP数据抽取到Azure数据湖平台? – snpgroup

数据库迁移软件SNP Glue – SAP数据集成用例介绍 – snpgroup

SAP系统怎么抽取数据?  – snpgroup