【V5.0 Update1】智能制造全域数据分析方案（2）实时和缓存两种数据使用方式

收藏

本帖最后由 @Martin.Zhang 于 2022-2-18 15:26 编辑

各位同学，又有一波高级技能要跟大家分享一下了，请大家注意了，本次给大家介绍的功能，在以后的产品使用中，会让整个产品性能以及便捷性，实时性提供一个更加便捷的实现方式。

今天要跟大家介绍的就是目前在 Wyn Enterprise 中对于制造业领域最受欢迎的两种数据对接模式：实时数据与缓存模式。

实时数据：

实时数据具有失效性，随着时间的推移，实时数据值就失效了。过时的实时数据因为可以反映制造系统的发生和发展过程，因此对制造人员有重要的参考价值，通常许多过时的数据都按时间和类别被保存下来，这就是历史数据。实时数据主要是指的数据延迟小，例如毫秒、秒、分钟级的延迟，小时级的延迟称之为“准实时数据“更为准确了。在BI领域，实时数据就相当于一个监控，能时刻反馈出当前关注点数据的最新情况。在数据处理上，实时响应，实时处理。在处理中总体分为两个步骤：①获取数据；③数据处理展示。

image.png666424865.png

缓存数据：

缓存数据，是指在硬盘内部预先存储，一些数据暂时性的保存起来以供读取和再读取。对于大数据缓存的硬盘在存取零散文件时具有很大的优势。在系统中处理数据时效率更高，查询效率更快，尤其是采用分布式部署后，可以大大提升查询效率。相较于实时数据，就相当于将前一刻的数据进行预处理，将所处理的数据进行存储，方便于使用。在数据处理中，只需要做数据数据处理步骤即可。

image.png718873595.png

从以上两图，就可以看出，两种数据类型，在数据显示中的处理流程与效率。

那么两种类型的数据，我们在使用中用什么区别呢？

实时数据：

直接链接着业务数据库或者设备定时推送的实时数据；当业务系统产生新的数据之后，就会立即进行运算处理。
主要优点：

数据的时效性强，可以做到秒级或者毫秒级时延，所见即所得。提升产品响应效率。

缺点：

需要不停的进行数据计算，即每秒钟或者每分钟进行数据清洗和计算，资源消耗大，同时依赖数据库本身的性能，自助式分析性能会略差与抽取模型

主要使用场景：

在车间看板中，需要在做一些实时监控，时刻监控设备运行状态；在设备运行中，各项指标是否符合要求；在生产阶段，需要时刻对产品参数进行监测，则需要实时数据进行响应。

缓存数据：

抽取数据模型，在数据产生之后，不会立即对数据进行清洗，而是在固定的周期进行ETL，例如每天在凌晨12：00之后，处理前一天产生的数据，每月的最后一天，汇总本月产生的数据。

主要优点：

能够处理的数据量巨大，从企业成立以来的历史数据，都可以存储、计算处理、分析应用。
数据更准确，对于一些交易类的业务，存在订单状态流转，例如酒店，用户早上下了订单，但是下午有突发情况行程有变，取消了。在离线数据处理时，取当天订单成功状态，就不会计算在内。但对于数据漂移，即12点前下单，12点后取消的情况，就也无法统计到了，这种情形，在数据清洗任务处理时，可以采用全量更新的方式，每日更新全部数据，取最终的订单状态。

缺点：