futz12 GitHub avatar

bergamot-ncnn-vulkan

futz12

一个使用 C++17、ncnn 和可选 Vulkan GPU 加速的本地 Marian/Bergamot 翻译运行时。

Stars

6

7 天增长

暂无数据

Fork 数

1

开放 Issue

0

开源协议

Apache-2.0

最近更新

2026-07-27

AI 仓库情报摘要
FR-AI / ANALYSIS

为什么值得关注

它能在消费级硬件上实现离线、保护隐私的机器翻译,同时支持 CPU 和 Vulkan GPU 后端,并提供可直接运行的 FP32 和 INT8 模型。

适合谁使用

  • 需要将本地翻译集成到应用中的开发者
  • 需要离线翻译且不依赖云服务的用户
  • 研究在 CPU/GPU 上高效神经翻译的研究人员
  • 注重隐私、希望设备端处理的用户

典型使用场景

  • 本地翻译敏感文档,无需将数据发送到服务器
  • 在桌面或移动应用中嵌入基于 ncnn 的翻译功能
  • 在没有互联网连接的设备上运行翻译
  • 在支持 Vulkan 的硬件上试验基于 Marian 的模型

项目优势

  • 支持 CPU 和 Vulkan GPU 两种执行后端,灵活平衡性能
  • 包含预构建的 FP32 和 INT8 量化模型,可立即使用
  • 提供自定义分词器和句子分割功能,支持原始文本输入
  • 模块化设计,附带模型导出工具和全面的文档

使用前须知

  • 仅支持贪心解码,无束搜索或采样
  • 无图级批处理,每个片段顺序执行
  • 自定义分词器仅为近似实现,不完全兼容 SentencePiece
  • 使用 Vulkan 后端时,INT8 多头注意力会回退到 CPU

README 快速开始

Quick start

项目描述

mobile-friendly mechine translator

相关仓库与替代方案

根据分类、Topic 和编程语言匹配的相似项目。

lopopolo
精选
lopopolo GitHub avatar

harness-engineering

Harness Engineering is a methodology for improving coding agent outputs by carefully crafting the environment around them—providing curated context, tools, and executable constraints that encode an organization’s nonfunctional requirements and cumulative lessons.

AI 与机器学习AI 智能体
2,390
slvDev
精选
slvDev GitHub avatar

esp32-ai

A 28.9 million parameter language model runs on an $8 ESP32-S3 microcontroller entirely on-device, generating simple stories at about 9.5 tokens per second.

AI 与机器学习大语言模型
1,960
littledivy
精选
littledivy GitHub avatar

mimic

mimic captures traffic from any iOS or web app and automatically generates a Python client library that lets you call the app's API like a regular library.

AI 与机器学习
1,482