关键词：
1. 语言模型 language models
猴子随机打出来莎士比亚的作品，时间大概要多久呢？ – 宇宙爆炸都打不出来。
2. 代码实现
3. Q&A
-
- sequence sample (token 是word)，一般32位效果会比较好。要考虑模型的复杂度，和产品综合考虑。
参考
https://www.bilibili.com/video/BV1ZX4y1F7K3?p=1
《动手学深度学习》softmax回归(pytorch版)
softmax-regression1分类问题2softmax回归模型3单样本分类的矢量计算表达式4小批量样本分类的矢量计算表达式5交叉熵损失函数6模型预测及评价小结前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输... 查看详情
《动手学深度学习》softmax回归(pytorch版)
softmax-regression1分类问题2softmax回归模型3单样本分类的矢量计算表达式4小批量样本分类的矢量计算表达式5交叉熵损失函数6模型预测及评价小结前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输... 查看详情
《动手学深度学习》线性回归（pytorch版）
...（PyTorch版）1.线性回归1.1线性回归的基本要素1.1.1模型定义1.1.2模型训练(1)训练数据(2)损失函数(3)优化算法1.1.3模型预测1.2线性回归的表示方法1.2.1神经网络图1.2.2矢量计算表达式小结1.线性回归线性回归输出是一个连续值&#... 查看详情
datawhale动手学深度学习pytorch版-task2：文本预处理；语言模型；循环神经网络基础(代码片段)
...能运行、可讨论的深度学习教科书。task2：文本预处理；语言模型；循环神经网络基础课程详细内容在https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/jupyter/74GLt4f6G9GgtnuK_Y7SJ#课程视频下的讨论也是精华1、读文本行的代码，可以复用defrea... 查看详情
序列模型sequencemodel文本预处理动手学深度学习v2
1.序列模型sequencemodel2.代码实现3.文本预处理把文本当做时序序列4.Q&ARNN可以认为跟隐马尔科夫假设上建模的。latervariable潜变量是不存在，hiddenvariable隐变量是存在，只是看不到。MLP可以记住了过去数据的模式，然... 查看详情
模型选择+过拟合和欠拟合（动手学深度学习v2）笔记(代码片段)
...练误差和泛化误差训练误差（trainingerror）：模型在训练数据集上计算得到的误差泛化误差（generalizationerror）：模型应用在同样从原始样本的分布中抽取的无限多数据样本时，模型误差的期望验证数据... 查看详情
循环神经网络rnn动手学深度学习v2
1.循环神经网络RNN2.Q&AGPT3,BERT都是基于Transformer模型的改进，目前也是最火的。voice和image融合算法，用多模态模型。比如自动驾驶领域的运用。参考https://www.bilibili.com/video/BV1D64y1z7CA/ 查看详情
《动手学深度学习》线性回归的简洁实现（linear-regression-pytorch）(代码片段)
...08;linear-regression-pytorch）1.生成数据集2.读取数据3.定义模型4.初始化模型参数5.定义损失函数6.定义优化算法7.训练模型8.小结随着深度学习框架的发展，开发深度学习应用变得越来越便利。实践中，我们通常可以用比上... 查看详情
《动手学深度学习》线性回归的简洁实现（linear-regression-pytorch）(代码片段)
...08;linear-regression-pytorch）1.生成数据集2.读取数据3.定义模型4.初始化模型参数5.定义损失函数6.定义优化算法7.训练模型8.小结随着深度学习框架的发展，开发深度学习应用变得越来越便利。实践中，我们通常可以用比上... 查看详情
搞定《动手学深度学习》-（李牧）pytorch版本的所有内容
...6.循环神经网络7.优化算法8.计算性能9.计算机视觉10.自然语言处理环境参考（大家可以在这里下载代码）原书地址（大家可以在这里阅读电子版PDF内容）引用阅读指南目录简介阅读指南1.深度学习简介2.预备知识2.1... 查看详情
动手学深度学习diveintodeeplearning--day01--学习资料环境配置
正式开始《动手学深度学习v2-从零开始介绍深度学习算法和代码实现》的学习惊诧于李沐老师2021年的视频里就已经提到DALL·E2、ChatGPT等相关的内容了闲话休叙，先贴一下学习资料链接：课程主页：OpenLearningCamp-《动手学深度学习... 查看详情
《动手学深度学习》线性回归从零开始（linear-regression-scratch）(代码片段)
...回归的从零开始实现前言1.生成数据集2.读取数据3.初始化模型参数4.定义模型5.定义损失函数6.定义优化算法7.训练模型8.小结前言在了解了线性回归的背景知识之后，现在我们可以动手实现它了。尽管强大的深度学习框架可以... 查看详情
《动手学深度学习》线性回归从零开始（linear-regression-scratch）(代码片段)
...回归的从零开始实现前言1.生成数据集2.读取数据3.初始化模型参数4.定义模型5.定义损失函数6.定义优化算法7.训练模型8.小结前言在了解了线性回归的背景知识之后，现在我们可以动手实现它了。尽管强大的深度学习框架可以... 查看详情
2023.5.6《动手学深度学习》第34章(代码片段)
...不具备该能力，其主要用于调整输出的通道数量，以控制模型的复杂性。pooling层的作用：降低卷积层对位置的敏感性，同时降低对空间降采样的敏感性。常用maxpooling和averagepooling。二、模块和函数1、pytorch模块torch.tensor()和torch.T... 查看详情
你期待已久的《动手学深度学习》（pytorch版）来啦！
...部分介绍深度学习的基础知识和预备知识，并由线性模型引出最简单的神经网络——多层感知机；第二部分阐述深度学习计算的关键组件、卷积神经网络、循环神经网络、注意力机制等大多数现代深度学习应用背后的基... 查看详情
送李沐的《动手学深度学习》
Datawhale学习 邀约：学习建议/成长经历，文末送李沐书籍留言你在Datawhale的学习成长经历/你这次的学习迷茫/入门学习建议留言并点赞数前十的读者以及最用心的三位可获得李沐的《动手学深度学习》一本 查看详情
《动手学深度学习》深度学习简介（完整版）
《动手学深度学习》PyTorch版深度学习简介起源发展成功案例特点小结练习参考文献深度学习简介你可能已经接触过编程，并开发过一两款程序。同时你可能读过关于深度学习或者机器学习的铺天盖地的报道，尽管很多时... 查看详情
动手学深度学习——卷积层(代码片段)
...素）RGB图片有36M元素使用100大小的单隐藏层MLP，模型有3.6B元素，远多于世界上所有猫和狗总数（900M狗，600M猫）2、重新考察全连接层将输入和输出变形为矩阵（宽度， 查看详情