Transformer解释Transformer定义Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
以下是Transformer的一些重要组成部分和特点
自注意力机制（Self-Attention）：这是Transformer的核心概念之一，它使模型能够同时考虑输入序列中的所有位置，而不是像循环神经网络（RNN）或卷积神经网络（CNN）一样逐步处理。自注意力机制允许模型根据输入序列中的不同部分来赋予不同的注意权重，从而更好地捕捉语义关系。
多头注意力（Multi-Head Attention）：Transformer中的自注意力机制被扩展为多个注意力头，每个头可以学习不同的注意权重，以更好地捕捉不同类型的关系。多头注意力允许模型并行处理不同的信息子空间。
堆叠层（Stacked Layers）：Trans ...
全连接层参考文章
全连接层详解-CSDN博客
全连接层定义全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：
上图中我们可以看到，左侧的每一个点在右侧都有连接，这就是全连接层。
怎么理解全连接层假设你是一只小蚂蚁，你的任务是找小面包。你的视野还比较窄，只能看到很小一片区域。当你找到一片小面包之后，你不知道你找到的是不是全部的小面包，所以你们全部的蚂蚁开了个会，把所有的小面包都拿出来分享了。全连接层就是这个蚂蚁大会~
进一步理解
全连接层就是，忽略检测目标所在的位置，仅仅是知道这张图里边有这个目标就行
全连接层的作用通过特征提取，实现分类
我们现在的任务是去区别一图片是不是猫
假设这个神经网络模型已经训练完了，全连接层已经知道
当我们得到以上特征，我就可以判断这个东东是猫了。
因为全连接层的作用主要就是实现分类（Classification）
...
归一化参考文章
4步带你了解什么是归一化！-CSDN博客
Batch normalization 和 Layer normalization的区别_白化whitening-CSDN博客
参考视频https://b23.tv/NXezAz7
归一化了解归一化的定义归一化是一种常见的数据预处理技术，用于将数据转换为统一的比例范围，以消除不同变量之间的量纲差异。通过归一化，可以将数据映射到一个特定的范围，例如[0, 1]或[-1, 1]，使得不同特征或属性具有相似的数值范围。
归一化的目的1.消除量纲差异不同的特征往往具有不同的量纲，例如身高和体重，身高的单位是厘米，体重的单位是千克，它们的数值范围也相差较大。如果不进行归一化处理，这些量纲差异可能会影响到某些数据分析和模型算法的结果。
2.避免权重不平衡在某些机器学习算法中，例如基于距离的算法（如K-means聚类、K近邻算法等），特征之间的数值范围差异较大可能导致某些特征对算法的影响更大。通过归一化处理，可以使得各个特征在计算距离或相似度时起到相同的作用，避免权重不平衡的问题。
3.提高模型收敛速度某些机器学习算法，如神经网络、支持向量机 ...
损失函数参考文章
鲁棒性和泛化能力_-CSDN博客
交叉熵损失函数_用交叉熵计算经验风险-CSDN博客
损失函数定义损失函数(loss function)是用来估量模型的预测值与真实值的不一致程度，它是一个非负函数。
一般来说，损失函数越小，模型的鲁棒性越好。
鲁棒性是指模型在面对噪声、异常数据或不确定性时仍然能够维持其性能的能力。
在实际应用中，数据通常是不完美的，可能包含噪声、缺失值或异常情况。一个鲁棒的模型能够在这些情况下依然保持较好的性能，不会轻易受到干扰。例如，在图像识别中，鲁棒的模型能够正确识别经过轻微扭曲、遮挡或光照变化的图像。
损失函数分为经验风险损失函数和结构风险损失函数。
经验风险损失函数表示预测值与真实值之间的差异
结构风险损失函数是指经验风险损失函数加上正则化。
降低损失函数的办法就是调整和输入参数相关的权重（就是上面的参数解），调整权重实际上相当于在每个点调整改点的斜率。
有哪些损失函数从学习任务的类型出发，可以从广义上将损失函数分为两大类——回归损失和分类损失。
回归问题处理的是连续值的预测问题，例如给定房屋面积、房间数量以及房间大小，预测房屋 ...
生成对抗网络（GAN）参考文章
GAN（生成对抗网络）的系统全面介绍（醍醐灌顶）-CSDN博客
[图解 生成对抗网络GAN 原理 超详解_gan原理图-CSDN博客](https://blog.csdn.net/DFCED/article/details/105175097#:~:text=生成式对抗网络（GAN%2C Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。 模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。,都是 神经网络，只需要是能拟合相应生成和判别的函数即可。 但实用中一般均使用深度神经网络作为 G 和 D 。 一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。)
GAN:通过对某一事物大量数据的学习，来学习总结出其在数学层面上的分布规律，构建出合理的映射函数，从而解决现实问题
GAN的介绍基本概念 GAN的全称是Generative ...
机器学习的监督学习和无监督学习参考机器学习两种方法——监督学习和无监督学习（通俗理解）_机器学习两种方式-CSDN博客
监督学习（supervised learning）定义：从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。
监督学习的训练集要求包括输入输出，也可以说是特征和目标。
训练集中的目标是由人标注的。
实现方式：监督学习就是最常见的分类（注意和聚类区分）问题，通过已有的训练样本（即已知数据及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优表示某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的。
常用途径：监督学习是训练神经网络和决策树的常见技术。这两种技术高度依赖事先确定的分类系统给出的信息。
对于神经网络，分类系统利用信息判断网络的错误，然后不断调整网络参数。
对于决策树，分类系统用它来判断哪些属性提供了最多的信息。
常见的有监督学习算法：回归分析和统计分类。最典型的算法是KNN和SVM。
无监督学习（unsupervised learning）定 ...
自编码器（AE）解读本文参考深度学习：AE自编码器详细解读（图文并茂，值得一看）_ae自编码详解-CSDN博客
参考深度学习中常见的10种激活函数（Activation Function）总结_激活函数有哪些-CSDN博客
AE自编码器的定义
自编码器(Autoencoder,AE)，是一种利用反向传播算法使得输出值等于输入值的神经网络，它先将输入压缩成潜在空间表征，然后通过这种表征来重构输出。
自编码器其实也是一种神经网络，它的输入和输出是一致的，它借助稀疏编码的思想，目标是使用稀疏的一些高阶特征重新组合来重构自己，即 :对所有的自编码器来讲，目标都是样本重构。
自编码器是一种数据的压缩算法，属于无监督学习，以自身X作为输出值但输出值X’和自身X之间还是有一些差异的。自编码器也是一种有损压缩，可以通过使得损失函数最小，来实现X’近似于X的值。
分析这三个说法的相同点得知，AE的目的就是自己搞自己
自编码的过程简单的说可以分为两部分：输入到隐层的编码过程和隐层到输出的解码过程
AE自编码器结构特点
AE自编码器的意义如果自编码器的唯一目的是让输出值等于输入值，那这个算法将毫无用处。事 ...
小兔鲜Vue项目的知识准备和启动一、项目前准备知识铺垫1.文件介绍配置好环境后，运行：
npm init vue@latest
package.json 里放可执行的命令以及项目依赖
vite.config.js是配置文件，可以添加插件和配置
2. 组合式API入口-setupsetup选项的写法和执行时机
执行时机：beforeCreate钩子之前 自动执行
setup中写代码的特点：
定义数据+函数 然后一对象的方式return
语法糖
setup中的this指向undefined，不再指向组件实例
原始代码
<script>export default{ setup(){ console.log('setup') const message = 'this is massange' const logMessage = () =>{ console.log(message) } return{ message, ...
Gradio小记安装Gradio#清华镜像源pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple
接口创建函数
import gradio as grdemo = gr.Interface(fn=文本处理程序,inputs="text",outputs="text")#fn设置处理函数，inputs设置输入接口组件，outputs设置输出接口组件这三个必填#launch()勉强看作调用demo.launch()
Interface类以及基础模块三个参数
fn:包装的函数
inputs: 输入组件类型(“text”,”image”等)
ouputs: 输出组件类型(“text”,”image”等)
我们可以创建一个接口并发布
可以定义多个输入和输出import gradio as gr#该函数有3个输入参数和2个输出参数def greet(name, is_morning, temperature): salutation = "Good morning ...
flask小记一、flask最小项目from flask import Flaskapp = Flask(__name__)@app.route('/')def index(): return '<h1>hello world<h1>'app.run()
二、request#requet 包含前端发送过来的所有请求数据from flask import Flask,render_template,requestapp = Flask(__name__)@app.route('/index',methods=['GET','POST'])def index(): if request.method == 'GET': return render_template('index.html') if request.method == 'POST': name = ...
