仓库填充过程的监控技术
热 荐
【字体：小 大】
仓库填充过程的监控技术
作者：－ 文章来源：－ 点击数：1661 更新时间：2006-4-22 
Cheung-Yuk Wu, DB2 Warehouse Manager 架构师, 硅谷实验室，IBM
Paul Wilms, 商业智能解决方案顾问, 硅谷实验室，IBM
2004 年 5 月 仓库管理员依靠仓库监控功能来检查和了解仓库的状态或“健康状况”。为此，DB2 Warehouse Manager 提供了 WIP，或称作“进行中的工作（Work in Progress）”。这篇文章中，我们展示了如何扩展 WIP 功能以保存 WIP 过去的历史以及收集各步状态中的附加修改。我们还提供了示例查询，仓库管理员用这些查询来检查仓库填充过程的历史记录。
WIP 概述
在 DB2 Warehouse Manager 中，Process Modeler 用于定义表示执行数据转换的步骤。这是关于仓库的静态信息。与执行这些步骤相关的活动维护在名为 IWH.EDITION 的 DB2® Warehouse Manager 内部目录表中，并且可通过 WIP GUI 来查看。
WIP 中将通过版本号来惟一识别与每一步的执行相关的信息，因为版本号是与特定的执行步骤相关联的。仓库管理员使用 GUI 来浏览和控制当前可在 WIP 中获得的每个版本的当前状态。
WIP 动态
WIP 窗口是一个极其动态的环境；版本的有关信息在 WIP 中频繁变化，用以反映何时调度转换步骤以及执行进度如何。对于维护在 WIP 中的每个版本，显示的是其最当前的状态。
图 1
以下情况会导致每个版本的记录不是永远保存在 WIP 中：当用户或系统清除一个版本时，当一个暂态步骤执行完毕时，以及当将一个步骤从生产级别降级时，等等。
换言之，WIP 不会维护每个版本的全部历史记录和版本经过的所有状态。然而也不应该对此感到惊讶，因为 WIP 本来代表的就是“进行中的工作（Work in Progress）”！
WIP 未提供的信息
WIP 中保存的确切信息有时候会被错误理解，而这可能导致对仓库中的数据状态做出错误结论。我们在这里将列举一些错误断言并解释错误的原因： WIP 包含了每个步骤最后执行的有关信息。 错！ WIP 包含了每个步骤以前执行的有关信息。 错！ WIP 包含了每个步骤最后一次执行中所经历的中间状态。 错！ 版本号指示执行序列。 错！
WIP 并不包含有每一步最后一次执行的有关信息。只有在执行暂态步骤的时候，才能在 WIP 中看到其有关信息；而激活暂态步骤的那个步骤一旦完成，这些信息就会消失。如果有多个步骤成功填充了同一无版本目标表，那么在 WIP 中只能看到最后一个步骤填充目标表的有关信息。如果操作员手工清除最后一次执行记录，那么该版本就会消失。
小心处理 WIP！
WIP 中存储的信息量可能会极快地增长，特别是在每天运行很多步骤的情况下。因此，自然有热心的管理员去善意地执行清理操作。而这却可能导致灾难性的后果……
我曾看到一些热心的 WIP 操作员将成功的版本从 WIP 中清除。当然，其结果就是该版本对应的数据也被相应地删除。
可以将失败的版本从 WIP 中安全地清除，因为一个失败版本没有向目标表填充任何数据。促使操作员执行这些清除操作的一个动机就是，当 WIP 中的记录大量增加时，WIP 屏幕的刷新时间可能会很长。
WIP 功能的扩展技术
我们建议采用一种技术，以利用 WIP 中的数据向操作员提供更多信息，特别是以下方面的信息：以前历史、审计能力、状态更改的完全记录、附加的统计信息，以及更加容易的问题检测和解决（例如对于已发生或未发生的问题的可理解性，及其为何发生或未发生）。通过扩展 WIP 的功能，将达到我们的目标并且保存每个版本经过的所有不同状态。这一附加信息将使您可以： 维护所有以前执行的历史记录。 维护每个步骤经历过的所有中间状态的明细日志。 记录各步骤相关的调度程序是何时被启用和禁止的。 理解仓库目标表中的数据为何以及何时被意外地删除。
除了在 WIP 中可获得的信息之外，提供附加信息还有下列好处： 可以保存所有版本的完整历史。 可以周期性地将部分 WIP 历史记录存档为文件。 可以通过每个版本经过的中间状态来审计该版本过去运行时的行为。 可以获得与每个版本经过执行时间相关的附加统计信息，包括对于非 SQL 类型的步骤。 可以检测未按预定时间运行的步骤及其原因。 可以在一个表中立即浏览与一个版本、一个步骤或一组步骤相关联的所有严重错误。