Lora
Lora 是由 Peekaboo Labs 开发的本地大语言模型 SDK,可在 iOS 和 Android 的 Flutter 移动应用中运行。该 2.4B 参数模型大小约为 1.5GB,完全在设备上处理提示词,因此无需互联网连接或云端 API。开发者可以通过 Peekaboo Labs 的许可证密钥,通过 lora_sdk Flutter 软件包进行集成。
云端大模型 API 会将每个用户的提示词发送到远程服务器。Lora 将推理保留在手机上,这意味着没有任何数据离开设备,也没有按 token 收费的 API 账单。据 Peekaboo Labs 报道,它的性能可与 GPT-4o-mini 相媲美,同时比大型模型消耗更少的内存和电池。其代价是模型容量:Lora 针对的是移动端聊天和助手功能,而不是开放式的研究任务。
构建注重隐私的应用的 Flutter 开发者是核心受众。这包括健康追踪器、离线助手以及隔离环境中的企业工具。该 SDK 支持流式文本生成、模型下载进度跟踪和内置错误处理。要求 Flutter 3.0+、Dart 3.0+、iOS 13+ 以及 Android API 23+。
24亿参数模型大小仅1.5GB并针对移动设备进行了优化
lora_sdk Flutter包可通过单个初始化调用进行集成
完全离线运行无需互联网连接
通过Flutter 3.0+支持iOS 13+和Android API 23+
支持流式文本生成以及模型下载和预热进度跟踪
根据Peekaboo Labs基准测试性能可媲美GPT-4o-mini
完全离线运行不依赖云端API
轻量级1.5GB模型适合移动端硬件
Flutter项目中单行SDK初始化
推理期间不向外部服务器发送用户数据
仅支持Flutter没有原生的iOS或Android SDK
在生产环境中运行需要付费许可证密钥
24亿参数限制了其与更大云端模型相比的能力
什么是 Peekaboo Labs 的 Lora?
Lora 是一个面向 Flutter 移动应用的本地大语言模型 SDK。Lora 在设备上运行一个 2.4B 参数的模型,因此提示词绝不会离开手机,这使其非常适合离线和对隐私敏感的应用。
Lora 需要联网吗?
不需要,下载模型后,Lora 完全在设备上运行。Lora 可以在飞行模式下工作,无需云端 API 调用,这既保护了用户数据的隐私,又消除了每 Token 的 API 成本。
如何将 Lora 集成到 Flutter 应用中?
将 pub.dev 上的 lora_sdk 软件包添加到您的 Flutter 项目中,从 Peekaboo Labs 获取许可证密钥,然后使用您的密钥和 LLM 提供商调用 LoraSdk.initialize。GitHub 上提供了一个测试应用仓库供参考。
Lora 支持哪些平台?
Lora 通过 Flutter 框架支持 iOS 13 及以上版本以及最低 SDK 为 23 的 Android。Lora 仅针对 Flutter,不提供原生的 Swift 或 Kotlin SDK。
Lora 模型有多大?
Lora 使用了一个 2.4B 参数的模型,在设备上占用约 1.5GB 的空间。与较大的云端模型相比,Peekaboo Labs 对 Lora 进行了优化,以实现更低的能耗和更快的推理速度。
Lora 的价格是多少?
Lora 采用许可证密钥模式,入门版(Starter)价格为每月 $99,支持无限 Token 和一个应用。Lora 还提供包含多应用支持和一对一技术帮助的定制企业版定价。

