Lora

Lora

Lora 是由 Peekaboo Labs 开发的本地大语言模型 SDK,可在 iOS 和 Android 的 Flutter 移动应用中运行。该 2.4B 参数模型大小约为 1.5GB,完全在设备上处理提示词,因此无需互联网连接或云端 API。开发者可以通过 Peekaboo Labs 的许可证密钥,通过 lora_sdk Flutter 软件包进行集成。

云端大模型 API 会将每个用户的提示词发送到远程服务器。Lora 将推理保留在手机上,这意味着没有任何数据离开设备,也没有按 token 收费的 API 账单。据 Peekaboo Labs 报道,它的性能可与 GPT-4o-mini 相媲美,同时比大型模型消耗更少的内存和电池。其代价是模型容量:Lora 针对的是移动端聊天和助手功能,而不是开放式的研究任务。

构建注重隐私的应用的 Flutter 开发者是核心受众。这包括健康追踪器、离线助手以及隔离环境中的企业工具。该 SDK 支持流式文本生成、模型下载进度跟踪和内置错误处理。要求 Flutter 3.0+、Dart 3.0+、iOS 13+ 以及 Android API 23+。

主要功能:
  1. 24亿参数模型大小仅1.5GB并针对移动设备进行了优化

  2. lora_sdk Flutter包可通过单个初始化调用进行集成

  3. 完全离线运行无需互联网连接

  4. 通过Flutter 3.0+支持iOS 13+和Android API 23+

  5. 支持流式文本生成以及模型下载和预热进度跟踪

  6. 根据Peekaboo Labs基准测试性能可媲美GPT-4o-mini

Pros:
  1. 完全离线运行不依赖云端API

  2. 轻量级1.5GB模型适合移动端硬件

  3. Flutter项目中单行SDK初始化

  4. 推理期间不向外部服务器发送用户数据

Cons:
  1. 仅支持Flutter没有原生的iOS或Android SDK

  2. 在生产环境中运行需要付费许可证密钥

  3. 24亿参数限制了其与更大云端模型相比的能力

常见问题:

什么是 Peekaboo Labs 的 Lora?

Lora 是一个面向 Flutter 移动应用的本地大语言模型 SDK。Lora 在设备上运行一个 2.4B 参数的模型,因此提示词绝不会离开手机,这使其非常适合离线和对隐私敏感的应用。

Lora 需要联网吗?

不需要,下载模型后,Lora 完全在设备上运行。Lora 可以在飞行模式下工作,无需云端 API 调用,这既保护了用户数据的隐私,又消除了每 Token 的 API 成本。

如何将 Lora 集成到 Flutter 应用中?

将 pub.dev 上的 lora_sdk 软件包添加到您的 Flutter 项目中,从 Peekaboo Labs 获取许可证密钥,然后使用您的密钥和 LLM 提供商调用 LoraSdk.initialize。GitHub 上提供了一个测试应用仓库供参考。

Lora 支持哪些平台?

Lora 通过 Flutter 框架支持 iOS 13 及以上版本以及最低 SDK 为 23 的 Android。Lora 仅针对 Flutter,不提供原生的 Swift 或 Kotlin SDK。

Lora 模型有多大?

Lora 使用了一个 2.4B 参数的模型,在设备上占用约 1.5GB 的空间。与较大的云端模型相比,Peekaboo Labs 对 Lora 进行了优化,以实现更低的能耗和更快的推理速度。

Lora 的价格是多少?

Lora 采用许可证密钥模式,入门版(Starter)价格为每月 $99,支持无限 Token 和一个应用。Lora 还提供包含多应用支持和一对一技术帮助的定制企业版定价。

定价:

免费试用和收费混合

标签:

Local LLM
Flutter SDK
On-Device AI
Mobile Development
Offline Inference
Privacy First
Privacy
SDK

使用的技术:

Flutter

评论:

Give your opinion on Lora :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

最佳免费 Lora 替代方案(和付费)

By Rishit