机器学习定义与框架

基本概念

机器学习是通过接受外界信息（包括观察样例，外来监督，交互反馈等），获得一系列方法、知识、规则和技能的过程。

机器学习的巨大优势在于，设计者不必定义具体的流程细节，只需告诉机器一些通用知识，定义一些足够灵活的通用结构（如图模型定义的概率关系，神经网络定义的拓扑结构），机器即可通过观察和体验积累实际经验，对所定义的结构及其参数进行调整、改进，从而获得面向特定任务的处理能力。

学习框架

知识和经验是构造机器学习系统的两个常用信息源。

知识，人类已经获得的可形式化的某种表达。

经验，机器在运行过程中得到的反馈。

基于先验知识设计一个合理的结构，再用实际经验对这一结构的细节进行修正和优化。

基于知识-经验机器学习框架可以表达为一个将人类经验（Human Knowledge）和实际经验（Emirital Evidence）结合在一起的计算模式，在这一模式里，我们依赖知识设计合理的结构，利用实际经验对学习结构进行调整，实现既定学习目标最优化。

框架组成

通常包括学习目标，学习结构，训练数据和学习方法四个方面。

学习目标：明确学习任务，定义最佳目标函数，将模糊的“任务最优化”量化为精确地“目标函数最大化”（或“损失函数最小化”）。

学习结构：基于先验知识所做的设计，定义学习任务如何进行，一般称之为“模型”。

训练数据：数据是经验的积累，利用数据进行学习更新先验知识、提供系统可用性。

学习方法：学习过程的具体实现采用的方法，即算法。

总之，机器学习是一种将人类先验知识与实际经验相结合，以提高计算机处理某种特定任务能力的计算框架。这一框架包括学习目标、学习结构、训练数据和学习方法四个组成部分。基于这一框架，我们依赖先验知识设计合理的学习结构，选择相应的学习算法，从训练数据中得到知识并对现有学习结构进行更新，使得既定的学习目标最优化。

From：《机器学习导论》 ——王东