机器学习课程笔记01

Introduction

推荐书目

• Tom. M. Mitchell -- Machine Learning

  • Mitchell是machine learning的开创者
  • 全书偏向理论，基本的方法。

  • Bishop -- Pattern Recognition and Machine Learning

    • 基于贝叶斯理论，统计学

    • Trevor Hastie -- The elements of statistical learning: Data Ming,inference and prediction

      • 频率主义，统计学

      • Russell -- Aritificial Intelligence : A Modern Approach

        • 从AI的侧面介绍一小部分ML

        • Aplaydin -- Introduction to Machine Learning

          • 内容简单精炼，观点正确丰富
          • 坑爹呢，下了看了看400多页，这居然是最简单的书
          • 李航 -- 统计学方法

          • Mohri -- Foundations of Machine Learning

            • 偏向理论，可以知道所以然

              学科概述

              什么可以成为学科？

              可以成为体系的东西，具有一系列:

              • 方法
              • 理论

              • 工具

                机器学习的缘起

                • 是AI和计算科学的分支

                  比较好的期刊

                  • Machine Learning

                  • Journal of Machine Learning Research

                    • This is free!

                      定义

                      机器学习是研究智能体的:

                      • 增长知识
                      • 提高性能
                      • 学习学习

                        的一般原理和计算模型的学科。

                        使用计算模型来表示机器学习的方法和结果

                        什么叫学习

                        学习是一种递归的概念，是一种广泛存在于自然界的现象，普遍，普通。

                        • 学无止境
                        • Meta-learning 元学习，学习学习的方法

                        • 理论创新 -- 滴水穿石都可以是学习

                          增长知识

                          知道了原来所不知道的东西。

                          回归问题拟合
                          例如给出离散的数列对f[x]，其中x∈{x0,x1,...,x n},将这个f[x]拟合成函数f^(x)，那么对于一个新的x?{x0,x1,...,xn}，这个新的f^(x)就是新的知识，这就达到了增长知识的目的。

                          提高性能

                          

                          如上图所示，为一个产生式系统。对于一种特征，某一种结果r发生的概率是p，那对于存储知识库的硬件来说，将概率越大的结果放到更容易访问的空间，便可以更快速的访问，达到提高性能的作用。

                          学习学习

                          还是和上图中的产生式系统一样，其推断引擎最为复杂，那么可以使用一个新的产生式系统实现这个产生式系统的推理引擎。

                          学习元规则的过程，mata-learning

                          机器学习的一般结构

                          

                          机器学习和CS的关系

                          改变了计算机交互的范型paradigm,从之前的Human --> Computer, 到Human --> ML --> Computer

                          机器学习和人工智能的关系

                          有关系，但是究竟是ML?AI还是AI?ML目前没有定论

                          ML的分类方式

                          • 知识表示
                          • 应用领域
                          • 学习策略

                          • 映射类型

                            • 

                            • 反馈类型

                              • Supervised
                              • unsupervised
                              • reinforcement
                              • semi-supervised

                                机器学习的基本问题

                                • 可学习型

                                  • 用命题逻辑表示数域里的问题，是不可能的
                                  • 必须有多项式复杂度

                                  • 可行性

                                    • 可计算的
                                    • 有效的
                                    • 可靠的不能不可控

                                    • 适用性

                                      • 是否一定要机器学习？

                                        • 灵活稳健ML和可靠有效Non?ML的抉择
                                        • 是否存在通用的学习器
                                        • 任何问题都存在最优的学习器，任何学习器有最优的问题。所以，看论文的时候，实验数据往往是给定了的。：）

                                        • 三个ML的教训

                                          • Rashomon好模型的多样性
                                          • Occam简单性和精确性的冲突
                                          • Bellman维数灾难

                                          • 欠拟合和过拟合的问题。

                                            • 训练的多了容易把样本中不是特征的东西也学习过来

                                              ML的理论基础

                                              • 数学
                                              • 统计学
                                              • 信息论
                                              • 计算理论
                                                ---------------------
                                                欢迎关注我的新浪微博@TJUReyoung, 欢迎访问我的博客。