第一章 绪论
第一章 绪论
  1.1 引言
    机器学习
      概念
      主要内容
      “经验”以“数据”的形式存在在计算机系统中
      致力于研究如何通过计算的手段，利用经验来改善系统自身的性能
      机器学习的主要内容，是关于在计算机上从数据中产生“模型”的算法
      如果说计算机科学是研究关于“算法”的学问，那么可以说机器学习是研究关于“学习算法”的学问
      模型：指全局性的结果
        一颗决策树
      模式：指局部性的结果
        一条规则
      学习算法：learning algorithm
  1.2 基础术语
    西瓜例子
      直观感受
        属性张成的空间称为：属性空间（attribute space）& 样本空间（sample space）& 输入空间
        一个示例对应的空间坐标向量称为：特征向量（feature vector）
        数据集（data set）
          一组记录的集合
        示例（instance ）& 样本（sample）
          （色泽=青绿；根蒂=蜷缩；敲声=浊响）
          关一个事件或对象的描述
          色泽、根蒂、敲声对应的三维空间中的坐标位置
        属性（attribute）& 特征（feature）
          色泽、根蒂、敲声
          反应事件或对象在某方面的表现或性质的事项
      形式化表示
        数据集
        示例&样本
        样本空间
        属性值
        维数
    基础概念
      学习过程就是为了找出或者逼近真相
      学习（learning）& 训练（training）
        从数据中学得模型的过程
      训练数据（training data）
        训练过程中使用的数据
      训练样本（training sample）
        训练数据中的每一个样本
      训练集（training set）
        训练样本组成的集合
      假设（hypothesis）
        学得模型对应数据的某种潜在的规律
      真实（ground-truth）
        潜在规律的自身
      模型=学习器（learner）
        学习算法在给定数据和参数空间上的实例化
      标记（label）
        关于示例结果的信息
      样例（sample）
        拥有了标记信息的示例
            标记空间（label space）& 输出空间
      聚类（clustering）
        对训练集中的样本分成若干个组
      簇（cluster）
        聚类中的每个组
      泛化能力（generalization）
        学得模型适用于新样本的能力
        泛化能力的强弱可以用适用于样本空间的范围来判定
      独立同分布（independent and identically distributed，简称 i.i.d.）
    阶段划分
      学习任务
        分类（classification）
          预测值是离散值
            二分类（binary classification）
              正类（positive class）
              反类（negative class）
            多分类（multi-class classification）
        回归（regression）
          预测值是连续值
      预测任务
        进行预测的过程称为“测试”（testing），被预测的样本称为“测试样本”（testing sample）
        分类任务
          对二分类任务
          对多分类任务
        回归任务
    类型划分
      有监督学习（supervised learning）
      无监督学习（unsupervised learning）
      半监督学习（semi-supervised learning）
      强化学习（reinforcement learning）
  1.3 假设空间
    科学推理
      归纳（induction）
        从特殊到一般的泛化（generalization）过程
        即从具体的事实归结出一般性规律
        “从样例中学习”是一个归纳的过程，称为归纳学习（inductive learning）
        归纳学习
          广义
            从样例中学习
          狭义
            概念学习 & 概念形成
            从训练数据中学得概念（concept）
              布尔概念学习
                西瓜例子
                一般表示
                  把学习过程看作是一个在所有假设（hypothesis）组成的空间中进行搜索的过程，搜索目标是找到与训练集“匹配”（fit）的假设
                  假设分类
                    正例
                    反例
                  假设空间
                    假设空间搜索
                      自顶向下
                      一般到特殊
                      自底向上
                      从特殊到一般
                      不断删除与正例不一致的假设，和（或）与反例一致的假设
                    版本空间（version space）
                      概念
                      学习过程是基于有限样本训练集进行的
                      可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”
      演绎（deduction）
        从一般到特殊的特化（specialization）过程
        即从基础原理推演出具体状况
        基于一组公理和推理规则推导出预支相洽的定理，这是演绎
  1.4 归纳偏好
    概念
    机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”（inductive bias）
    奥卡姆剃刀（Occam's razor）
      前提假设
      概念原理
      核心问题
      若有多个假设与观察一致，则选择最简单的那个
      自然科学研究中最常用的最基本的用来引导算法确立“正确的”偏好的原则
      如何确定哪一个假设，更“简单”的问题？
      具体实例
        训练样本和测试样本选择的不同，算法的性能也不同
        “没有免费的午餐”定理（No Free Lunch Theorem），简称 NFL定理
        归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设
        算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能
          模型A
          模型B
        数学证明
          前提假设
        针对二分类问题
          前提假设
          推导演算的最终结果与学习的目标函数无关，因此样本空间的总误差与学习算法无关
        脱离具体问题，空泛谈论“什么学习算法更好”毫无意义
    任何一个有效的机器学习算法必有其归纳偏好，否者它将被假设空间中看似在训练集上“等效”的假设所迷惑，而无法产生确定的学习结果
  1.5 发展历程
  1.6 应用现状