deepseektoken数量预测（deeper token）

DeepSeek是一款基于AI技术的智能搜索引擎，结合深度学习与自然语言处理，提供精准、高效的搜索体验。探索DeepSeek，感受未来智能搜索的无限可能！

本文目录一览：

• 1、excel两列互换位置
• 2、一块钱100万token,超强MoE模型开源,性能直逼GPT-4-Turbo
• 3、大模型结构基础(五):注意力机制的升级
• 4、Qwen1.5-MoE开源!魔搭社区推理训练最佳实践教程来啦!

excel两列互换位置

1、按住shift键+鼠标左键，此时在Excel表格中的鼠标形状会发生如图所示的变化。拖动鼠标，此时注意在表格界面处会出现一个虚线，这是表格移动后的位置。继续移动鼠标，当虚线由行变成列，且在需要互换的数据列一侧时，放开鼠标。此时在EXCEL中两列互换成功。

2、excel两列如何互换位置 打开一个数据表格案例。框选需要互换位置的表格整列区域。将鼠标移至两列竖线的位置，呈现十字图标。按住shift键，拖动鼠标移至另一列的前面。这样l两列数据互换位置了。复制粘贴的话也可以实现，这样不能保证数据列表的格式大小，不推荐。

3、需要注意的是，在拖动列边的同时按住Shift键，这个步骤至关重要。如果没有按住Shift键，只是简单地拖动列边，列的内容和格式可能会发生改变，而不是简单地进行位置互换。

4、如图，向右拖动Excel水平滚动条，使A、B两列移到窗口外。选中D2单元格，点击“窗口”－“冻结窗格”。然后，无论怎样移动水平滚动条，A、B两列都不会出现。

5、然后用鼠标选择一列中的所有数据。然后按住键盘上的shift键，并将鼠标放在第一列数字的边框上。指针变为“移动”的小图标。然后单击鼠标左键，将第一列中的数字拖到第二列中数字右侧的单元格列表中。拖动时，需要保持两列的单元格格式一致。拖动后，将看到EXCEL表中的两列被交换。

6、将鼠标移动到选中行的边界处，出现十字光标，按住鼠标左键同时按住Shift键将其拖拽到第四行的下边界线 如果要在Excel中交换两列的顺序，可以先选中这两列，然后右键点击其中任意一列，选择“剪切”，然后再右键点击另一列，选择“插入剪贴板中的单元格”，这样就完成了两列的位置交换。

一块钱100万token,超强MoE模型开源,性能直逼GPT-4-Turbo

1、Aligner的核心特性： 高效对齐：Aligner通过学习答案对齐与未对齐之间的修正残差，简化了对齐过程，避免了RLHF的繁琐流程。 性能提升：实验表明，使用Aligner能显著提升GPT4等模型的性能，特别是在帮助性和安全性方面。

2、数据集包含13万亿token，且经过多轮epoch以提高质量。训练成本高昂，OpenAI在大约25000个A100 GPU上训练了GPT-4，耗时90到100天，总成本约为6300万美元。通过MoE模型的使用，GPT-4在推理过程中能够减少参数量，但在训练时需要更多的数据，以弥补参数减少带来的性能损失。

3、「悟道0」是中国首个万亿参数规模的模型，以下是关于「悟道0」的详细解参数规模：75万亿参数量：悟道0以75万亿的参数量成为全球最大的预训练模型，这一数字是GPT3的10倍，标志着中文PTM在大规模模型研发中的重要突破。

4、这些混合专家模型在不同的数据和任务分布下进行16次推理训练，形成GPT-4的强大能力。如此一来，GPT-4的参数总量达到了76万亿，这在当前AI领域堪称巨量。它不仅是GPT-3的显著升级，更是通过将多个小模型聚合，实现了更高的训练效率和更佳的性能。在讨论中，网友对这一架构提出诸多猜测与分析。

大模型结构基础(五):注意力机制的升级

跨模态性能：UniRepLKNet实现了感受野、特征抽象与深度模型表示能力的平衡，展现出跨模态的先进性能，并在大规模时序预测任务中表现出色。StripedHyena 混合结构：StripedHyena由TogetherAI发布，它采用了一种独特的混合结构，结合门控卷积与注意力机制，形成Hyena运算符。

在计算过程中，比如在自注意力机制中，模型会生成查询向量，根据输入信息本身决定关注点。以BERT为例，输入信息会映射到查询、键和值空间，通过点积和softmax操作，计算出每个位置的关注程度，然后加权求和形成注意力向量。

核心结构：解码器由多个解码器块堆叠而成，每个块负责处理和传递信息。功能：解码器块内部包含多个子层，这些子层协同工作以解码编码器的输出并生成目标序列。掩码多头注意力：特性：这是解码器中的一个重要机制，确保了在进行注意力机制计算时，解码器只能访问当前和先前的输入。

LSKnet： 在《Large Selective Kernel Network for Remote Sensing Object Detection》中，LSKNet通过动态调整空间感受野，优化遥感目标检测效果。 动态稀疏注意力： 《BiFormer》中，双层路由注意力机制帮助模型动态筛选重要信息，提升视觉任务效率。

Qwen1.5-MoE开源!魔搭社区推理训练最佳实践教程来啦!

1、Qwen5-MoE模型采用特别设计的MoE架构，包括DeepSeek-MoE和DBRX等方法，其finegrained experts有效利用FFN层到MoE层的转换，将单个FFN分割成多个独立的expert，实现效率与效果的最优结合。

2、架构一致性：采用与Qwen5系列一致的架构。高效GQA技术：支持32K tokens的上下文长度，提升处理效率。多语言特性：支持多种国际语言，满足全球化需求。魔搭社区实践：对比环境：提供Qwen5110BChat与Llama370BInstruct的对比环境，便于用户直观感受模型差异。

3、Qwen5-110B-Chat：modelscope.cn/models/qw... Qwen5-110B：modelscope.cn/models/qw... 模型推理所需代码与显存要求如下：显存要求：支持4卡A100，230G显存。 在模型训练方面，魔搭社区的微调框架SWIFT已全面支持Qwen5全系列模型的微调与推理。