开源项目 FeSens/openTPU（Apache-2.0）在 Hacker News 登上首页（250+ 分、300+ 评论）：作者沿用此前用 AI 设计 RISC-V 核的 auto-arch-tournament 方法，让 AI 代理迭代设计一颗推理加速器，单仓库包含 SystemVerilog RTL、ISA、逐位精确模拟器、内核语言编译器与 Profiler。在 Kintex-7 xc7k480t PCIe 卡上以真实权重运行 Qwen3、Qwen3.5、Gemma 4、Phi-4-mini 等模型，输出与模拟器逐 token 一致；LFM2.5-230M 4-bit 解码 85.8 tok/s，Qwen3.5-35B-A3B 借主机专家卸载跑到 3.95 tok/s。
核心要点速览
- ✓全栈 1 仓库：SystemVerilog RTL + 8×32-bit 指令 ISA + Python 逐位精确模拟器 +
@ol.jit内核编译器 + Lens Profiler，Apache-2.0（GitHub） - ✓实测解码（设备侧，4-bit/int8 头）：LFM2.5-230M 85.8 tok/s、Qwen3-0.6B 31.3 tok/s、Qwen3.5-2B 12.09 tok/s、Gemma 4 E2B 12.14 tok/s（2026-09-29 至 10-01 实测）
- ✓带宽利用：DDR3-1066 峰值 17.1 GB/s，解码时达 82–94%；设计时钟 133.33 MHz，四列脉动阵列
- ✓MoE 卸载：Qwen3.5-35B-A3B 3.95 tok/s（每 token 经 PCIe 拉取 153 MB 专家权重，命中率 62%），LFM2.5-8B-A1B 10.6 tok/s（offload 文档）
- ✓4-bit 量化（FP4 + 两级块缩放，4.25 bit/权重）比 int8 解码快 40–45%，困惑度代价逐模型公开
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
AI 代理能写软件已不新鲜，但能不能设计“运行自己推理的芯片”？硬件设计门槛高、验证周期长，开源加速器项目大多停留在仿真。openTPU 延续作者用 AI 设计 RISC-V 核的 auto-arch-tournament 思路，让代理在“设计—综合—实测”循环中迭代；作者在 HN 表示，起初只有每秒几个 token，经递归自我改进循环提升到小模型 80+ tok/s。
架构亮点与底层机制
机器刻意保持简单：定序器每周期发一条指令（ISA 为 8 个 32 位字），DMA 搬数据、矩阵单元做 int8 乘法、向量单元做 fp32、量化器回写 int8，无缓存、无隐式调度，所以每次数据移动都可在 Lens Profiler 的时间线里追溯。内核用 Python 风格的 @ol.jit 语言编写，编译成指令；Python 模拟器就是规格书，RTL 与其逐位对拍。超出 4 GiB 显存的 MoE 由主机按需把专家写入卡上槽位。
权威 Benchmark 与实测跑分对比
以下为项目 README 自报实测（Inspur YPCB-00338 卡，Kintex-7 xc7k480t，双通道 DDR3）：LFM2.5-230M 4-bit 解码 85.8 tok/s，Qwen3-0.6B 31.3，Qwen3.5-2B 12.09，Gemma 4 E2B 12.14，Phi-4-mini 6.56 tok/s；解码时 DRAM 利用率 82–94%。Qwen3.5-35B-A3B 借专家卸载 3.95 tok/s。尚无第三方复现，也未与 GPU/NPU 做同口径对比。
开发者实战落地与开箱指南
无需 FPGA 也能上手：pip install -e . 后用 otpu-chat --model lfm2 --backend isa 在模拟器里对话，RTL 测试需 Verilator 5。有板卡则按 board 文档 构建比特流、JTAG 烧录后 otpu-chat --backend board，并用 otpu-smi 看功耗与带宽。适合想从 matmul 一路读到导线、理解 AI 加速器原理的工程师。
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察