讲一下KV cache，GQA的思想是什么？ ## 字节 讲一下FlashAttention的思想和做法？ 了解过哪些模型训练推理优化的方法（Deepspeed、数据并行、张量并行、流水线并行）

一、Giffgaff 是什么？ Giffgaff 是英国的一家虚拟运营商（MVNO），以低成本、灵活套餐和长期保号著称。 其 SIM 卡（包括实体卡与 eSIM）非常适合需要 长期保号、接收短信或验证码 的用户。 早期：仅提供实体 SIM 卡 现在：支持将实体卡转换为 eSIM，或直接购买 eSIM eSIM 激活方式：不提供二维码，而是通过 Giffgaff App 直接下载配置文件到手机中 二、主要优势与适用人群 ✅ 优势特点 无月租！ 每半年发送一条短信即可保号， 年成本低至 £0.6。 一次充值 £10，理论上可用 20 年。 充值优惠 充 £10 送 £5，首次激活时可协助完成。 超长有效期 只要保持账户活跃（180天内有一次使用记录），号码长期有效。 🎯 适合人群 注册 WhatsApp、Telegram、Instagram、ChatGPT 等海外软件的用户 外贸从业者、跨境账号注册者 英国留学生（在国内保留英国号码） 英国短期旅游或出差人士 🚫 不适合人群 需要在中国境内上网或通话的用户（不支持国内漫游上网） 三、Giffgaff 实体卡 / eSIM 激活流程 🔹 步骤 1：准备激活码 收到实体卡后，卡面上有 6 位激活码。

token是什么？ 大模型训练、推理本仍然是数值计算，文本通过分词、转换得到的数字即为token，不同模型采用不同词表得到的token不同。例如 算法工程师 在gpt3模型中对应的token是 [163, 106, 245, 37345, 243, 32432, 98, 163, 101, 233, 30585, 230] openai计费单位，按照输入token，输出token数量计算费用。 注意 input token 和 output token价格一般不同。openai计费价格，千帆大模型平台价格 token是怎么计算的？ 通过openai提供的在线工具测试英文、中文 token结果如下： 英文 TOKEN IDS [31373, 644, 338, 534, 1438, 30] openai给出的经验法则是，对于普通英文文本，一个token通常对应约4个字符的文本。这大约相当于一个单词的3/4（因此100个token~=75个单词）。 中文 中文分词一个汉字可能对应多个token。 tiktoken tiktoken是openai开源的token工具， 1）生成 算法工程师 token id list。 2）对每一个token还原可以得到token id代表的字节，例如：163 代表 b'\xe7'。对比算法工程师 utf-8 字节，可以发现与上述token id转换得到的字节一致。 import tiktoken text = "算法工程师" enc = tiktoken.

LLMs LLaMA、GPT、Transformer 1）我们经常说GPT是transformer右侧部分，其实GPT不包含transformer右侧中间的Multi-Head Attention模块。 2）LLaMA在GPT基础上对多个组件优化。 https://dugas.ch/artificial_curiosity/GPT_architecture.html https://zhuanlan.zhihu.com/p/636784644 支持中英文开源大模型 三种主流架构的注意力模式比较。 蓝色: 前缀 token 之间的注意力 绿色: 前缀 token 和目标 token 之间的注意力 黄色: 目标 token 之间的注意力 灰色: 掩码注意力 Causal Decoder // 单向注意力 1）LLaMA 1.1 LLaMA 从零训练：Baichuan-7B/13B（百川智能）、Qwen-7B（阿里云） 1.2 LLaMA 增量微调：BELLE-7B/13B（链家） 2）GPT、ChatGPT、BLOOM Prefix Decoder // Encoder双向注意力、Decoder单向注意力、Encoder&Decoder共享参数 1）ChatGLM-6B、ChatGLM2-6B（清华、智谱） Encoder-Decoder // Encoder双向注意力、Decoder单向注意力

Q: app付款后退款你会检查退款金额吗？

A: 大部分时间不会，今天无意瞟了一眼发现了问题，对不上！

LLM Embedding ChatGLM ChatGLM获取Embedding向量 inputs = tokenizer([text], return_tensors="pt").to(device) resp = model.transformer(**inputs, output_hidden_states=True) y = resp.last_hidden_state y_mean = torch.mean(y, dim=0, keepdim=True) y_mean = y_mean.cpu().detach().numpy() print(y_mean.shape) > [1, 4096]

目之所及的通讯。 一、项目简介 目信（SeeChat） 是一个基于 低功耗蓝牙（BLE）通讯 的本地社交项目。 项目最初的构想是让人们在 咖啡厅、酒吧、餐厅等目之所及的范围内， 通过设备发现与通信功能，实现无网络、低延迟的即时交流。 在此之前，项目也曾以代号 Icebreak（破冰） 进行内部开发。 二、设计理念 灵感来自于现实生活中的一个场景—— 在咖啡厅中看到有趣的人，却又羞于直接上前打招呼。 目信希望改变这种“距离感”， 通过蓝牙低功耗广播技术（BLE Beacon）， 在用户“可见的物理空间”内建立去中心化的社交连接。 它不是陌生人社交应用，而是一种 “目之所及，心有所动” 的即时沟通尝试。 三、开发与实现 平台：微信小程序版本（Prototype） 技术栈：低功耗蓝牙（BLE） + 微信开放接口 通讯方式：点对点广播发现 + 临时会话 特性： 无需服务器即可完成局域通讯 匿名但真实的近场互动 去中心化、低能耗、私密安全 四、项目遗憾与停更原因 由于 中国地区对蓝牙广播与匿名通讯的管控政策限制， 微信端的蓝牙接口权限难以获得， 项目因此在原型阶段被迫中止开发。 五、后记 · 灵感共鸣 没过多久，我看到推特联合创始人 Jack Dorsey 宣布推出 一款去中心化点对点消息应用 —— BitChat。 它的理念与“目信”几乎如出一辙。 只不过，我依然认为—— 我的名字，也许更好。 😌 六、关键词 去中心化 · 蓝牙通讯 · 即时社交 · P2P · BLE · 微信小程序 · Icebreak · BitChat

一、项目简介 《842》 是我在考研期间整理撰写的一篇博客，主要记录了 199x–2016 年东北大学 842 专业课（C语言、数据结构） 的部分代码实现与复盘思考。 由于时间有限，部分题目尚未补全，欢迎有兴趣的同学 提交 PR 共同完善 👉 🔗 Pull Requests · wanglinteng.github.io 二、内容结构 🧠 C语言基础 常见语法考点 历年高频编程题思路 指针与内存管理练习 🌲 数据结构 链表、栈、队列、树与图等重点代码 常见算法题与实现思路 历年真题代码整理（部分） 三、我的考研路 在图书馆的那些日子里，我系统地回顾了整个考研历程。 整个过程大致分为以下几个阶段： 🎯 准备阶段：确定目标学校与专业，搜集842真题。 📚 复习阶段：每日在图书馆刷题、整理笔记、实现历年代码。 🔄 调剂阶段：面对结果与变化，复盘与总结经验。 这一路的坚持与复盘，最终促成了《842》博客的诞生。 📖 延伸阅读：《我的考研路》 四、相关分类与目录 你可以在博客中浏览全部 842 相关内容： 🗂 842 考研分类页 五、项目开放性 📂 仓库内容：842 专业课的 C语言与数据结构题目代码 💬 欢迎贡献： 提交 PR 补充题目或笔记 完善代码注释、补充算法思路 分享考研心得或复盘经验 👉 PR 提交入口：GitHub Pull Requests

Motivation

如何开发以下需求？

• 业务 （Models、Prompt）

  • 多模型（gpt-3.5, gpt-4, chatglm-6b, chatglm-6b-ft）
  • 多业务（运营push、个性化push、weibo地域、商业评论、新闻评论……）
  • 不同业务 X 不同模型 = 不同prompt
  • 敏感词风控
  • 输出标准化json格式

• 网页 （Memory）

  • 多轮对话
  • 控制记忆上限（按轮数、按token[全量, 摘要……]）

• 外部数据 （Indexes）

  • 汽车博文生成，需要参考车型各类参数（pdf，md, txt……）

• 任务拆分 （Chain）

  • 汽车博文3段式生成
    1. 根据brief =》开头
    2. 根据brief、开头 =》 中间
    3. 根据开头、中间 =》结尾

• 日志（Callbacks）

  • 过程日志统计、token统计……

• ……

工具

目前开源工具包括以下几种：llama_index、langchain、semantic-kernel等。

婚姻及结婚

婚姻是以感情为基础的平等契约，结婚是恋爱达到一定阶段后需要法律及世俗认可的一个过程。

我可以理解没有感情的婚姻，但我不支持。（从这点看，我可能也是一个理想主义者）

结婚是两个人之间的事，尽量避免变成两个家庭之间的博弈，如果双方父辈有分歧，情侣应该统一战线推动分歧的解决。