深度学习教程

深度学习是机器学习研究的一个新领域，其目的是使机器学习更接近其原始目标之一：人工智能。请参阅这些课程笔记，了解有关AI的机器学习的简介和深度学习算法的简介。

深度学习是关于多层表示和抽象的学习，有助于理解图像、声音和文本等数据。有关深度学习算法的更多信息，请参阅例如：

• 专论或评论论文学习深度架构AI（机器学习的基础和趋势，2009）。
• 关于学习特征层次结构的ICML 2009工作坊网页具有引用列表。
• LISA public wiki有一个阅读列表和一个参考书目。
• Geoff Hinton从2009年的NIPS教程获得的阅读列表。

这里介绍的教程将向您介绍一些最重要的深度学习算法，并将向您展示如何使用Theano运行它们。Theano是一个python库，使编写深度学习模型容易，并给出了在GPU上训练他们的选择。

算法教程有一些先决条件。你应该知道一些python，并熟悉numpy。由于本教程是关于使用Theano的，你应该先阅读Theano基本教程。在你做完之后，请通读我们的入门章节 — 它介绍了在算法教程中使用的符号和[可下载的]数据集，以及我们通过随机梯度下降做优化的方式。

纯粹的监督学习算法可以按顺序阅读：

1. 逻辑回归 — 使用Theano解决简单的问题
2. 多层感知器 — 介绍感知器中的层
3. 深度卷积网络 — LeNet5的简化版本

无监督和半监督学习算法可以按任何顺序阅读（自动编码器可以独立于RBM/DBN阅读）：

• 自动编码器、去噪自动编码器 — 自动编码器的描述
• 堆叠去噪自动编码器 — 用于深层网络的无监督预训练的简单步骤
• 受限的玻尔兹曼机器 — 单层生成RBM模型
• Deep Belief Networks — 无监督的堆叠RBM的生成性预训练，随后是监督微调

为了包括mcRBM模型，我们有一个关于能量模型采样的新教程：

• HMC Sampling - 混合（aka Hamiltonian）使用scan()的蒙特卡罗采样

为了包含Contractive自动编码器教程，我们现在有代码：

• 缩放自动编码器代码 - 代码中有一些基本的文档。

具有词嵌入和上下文窗口的递归神经网络：

• 使用循环神经网络进行语音语义分析

情绪分析LSTM网络：

• LSTM network

基于能量的循环神经网络（RNN-RBM）：

• Modeling and generating sequences of polyphonic music

请注意，除了使用RNN-RBM建模和生成复音音乐序列仅适用于Python 2，这里的教程都与Python 2和3兼容。