> 本笔记是对 [CMU Pratical Data Science Course](https://www. datasciencecourse...

> 该笔记是对 Stanford CS224-n 的 hw5 的 ReFT 微调部分的整理，用于整理本人实现的对特定任务的 ReFT 微调实现以及对特定下游任务的处理。 ReFT 微调总体架构和 LoRA 架构类似： ```mermaid graph TD %% --- Style Definitions --- classDef model...

> 该笔记是对 Stanford CS224-n 的 hw5 的 LoRA 微调部分的整理，用于整理本人实现的对特定任务的 LoRA 微调实现以及对特定下游任务的处理。 我们采用和原有GPT2模型实现类似的架构实现带LoRA微调的GPT2模型，详细架构如下： ```mermaid graph TD %% --- Style Definitions --- classDef model...

> 生成：Gemini-2. 5-pro， 整理：fyerfyer 自由文本 (Free Text) 指的是那些非结构化的文本数据，例如网页、数据库中的评论字段、文章等。 与关系型数据或图谱不同，自由文本的**核心挑战在于它缺乏“易于提取”的结构**。 >...

> 该笔记是对 Stanford CS224-n 的 hw5 基础部分的整理，用于整理 GPT2 模型的基本实现。 我们先初始化好注意力模块中的组件： - $Q$，$K$，$V$层和 dropout 层 - 注意力头数量等配置 ```python self. num_attention_heads = config...

> 生成：Gemini-2. 5-pro， 整理：fyerfyer LoRA 的核心假设是：模型在适应新任务时，其权重的“变化量”（$\Delta W$）本身具有“低内在秩”（low intrinsic rank）。 这意味着，这个代表变化的、巨大的权重矩阵，可以用两个非常小的、瘦长的矩阵相乘来近似模拟。这就好比一个复杂的变换，其实可以分解为几个简单的、低维度的变换组合而成。...

> 生成：Gemini-2. 5-pro， 整理：fyerfyer 传统的参数高效微调（PEFT）方法，如 LoRA，其核心思路是**修改模型的“大脑结构”**，即通过更新或添加少量权重参数来让模型适应新任务。 而表征微调（Representation Finetuning,...

> 生成：Gemini-2. 5-pro， 整理：fyerfyer 为了解决传统微调的参数效率问题，论文提出了一种替代方案，叫做**适配器模块 (Adapter Modules)**。 适配器的核心思想是：在为下游任务调整模型时，我们**完全冻结 (freeze)...

> 生成：Gemini-2. 5-pro， 整理：fyerfyer 在自然语言处理中，我们首先要区分两个基本概念： - **词符 (Word Token)**：指在文本中**实际出现的一个具体的词**。它是词的一个“实例”。 - **词型 (Word Type)**：指一个**抽象的、独特的词**。它是词的“原型”或“类别”。 > 例如，在句子“我爱北京，我爱中国。”中： > > -...

在数据科学的许多问题中，我们处理的矩阵本质上都是稀疏的：矩阵中**绝大多数元素都是零**，只有少数非零元素。比如下面两个典型例子： 1. 图（Graphs）：在表示图结构时，一种主要方法是使用邻接矩阵（Adjacency Matrix）。如果节点 $i$ 和节点 $j$ 之间有一条边，那么矩阵中 $(i, j)$...