关注大数据、IoT、智慧城市的数据科学家、英国牛津大学教授Ajit Jaokar认为，类似Ignite IoT这样的IoT方法论并未涉及到IoT分析的详情，他总结了一套构建IoT分析的方法论。
IoT分析（IoT数据科学）的方法论应涵盖数据科学的每一步的独特之处。例如：它不止于模型家族的选择，ANN、SVM、决策树等模型的选择只是许多选择中的一个，其他的选择包括：
- 模型结构的选择 - 最优化方法（CV，Bootstrap等）
- 模型参数优化算法的选择（联合梯度 vs. 共轭梯度）
- 数据预处理（centring、reduction、functional reduction、对数变换等）
- 如何处理丢失的数据（数据删除、归集等）
- 如何检测和处理可疑数据（基于距离的异常检测、基于密度的异常检测等）
- 如何选择相关的特征（过滤器、包装、嵌入式方法？）
- 如何测量预测性能（均方误差、平均绝对误差、错误率、提升度、准确率/召回率等）
基于此，我们需要一个开放的、端到端的、Step by Step的方法论来解决IoT分析/IoT数据科学的问题。该方法论还将需要考虑IoT的独特性，例如：
- 复杂事件处理（CEP），尤其是使用Apache Spark for CEP
- 深度学习（因为我们把相机视为传感器）
- 异常检测：一个典型的IoT分析场景有许多注意事项：什么是触发事件？有多少机器偏离计划？什么是瓶颈的根本原因？有没有影响系统性能的一些外部因素？怎么知道我应该相信IoT数据？是否有行动计划的建议？数据是如何可视化？数据是否有遗漏的元素？我们如何检测其他进程的故障？（异常检测部分改编自Vinay Mehendiratta博士的观点）
此外，物联网垂直领域还有特殊的注意事项：智能电网、智能城市、智能能源、汽车、智能工厂、手机、可穿戴和智能家居等。
评论