参数学习与非参数学习

发表于 更新于 分类于 阅读次数：

参考 https://www.zybuluo.com/vivounicorn/note/446479

从参数与样本的关系角度看待模型。

1、参数学习

参数学习的特点是：

  1. 选择某种形式的函数并通过机器学习用一系列固定个数的参数尽可能表征这些数据的某种模式；
  2. 不管数据量有多大，函数参数的个数是固定的，即参数个数不随着样本量的增大而增加，从关系上说它们相互独立；
  3. 往往对数据有较强的假设，如分布的假设，空间的假设等。
  4. 常用参数学习的模型有：
  • Logistic Regression
  • Linear Regression
  • Polynomial regression
  • Linear Discriminant Analysis
  • Perceptron
  • Naive Bayes
  • Simple Neural Networks
  • 使用线性核的 SVM
  • Mixture models
  • K-means
  • Hidden Markov models
  • Factor analysis / pPCA / PMF

2、非参数学习

非参数学习的特点是：

  1. 数据决定了函数形式，函数参数个数不固定；
  2. 随着数据量的增加，参数个数一般也会随之增长；
  3. 对数据本身做较少的先验假设。
  4. 一些常用的非参学习模型：
  • k-Nearest Neighbors
  • Decision Trees like CART and C4.5
  • 使用非线性核的 SVM
  • Gradient Boosted Decision Trees
  • Gaussian processes for regression
  • Dirichlet process mixtures
  • infinite HMMs
  • infinite latent factor models