四时宝库

程序员的知识宝库

开源AI语音助手Talk-LLama测试(开源语音唤醒)

1.内容概要

视频教程关注同名抖音号Orange3dev(

https://www.douyin.com/user/MS4wLjABAAAAicBGZTE2kX2EVHJPe8Ugk3_nlJk9Nha8OZh4Bo_nTu8)


2.语音转文本模型下载

$ ./download-ggml-model.sh base.en
  • 2.2手动下载预转换模型

ggml 模型可以从以下位置下载:

https://huggingface.co/ggerganov/whisper.cpp/tree/main
https://ggml.ggerganov.com
mkdir models/whisper-medium
python models/convert-pt-to-ggml.py ~/.cache/whisper/medium.pt ~/path/to/repo/whisper/ ./models/whisper-medium
mv ./models/whisper-medium/ggml-model.bin models/ggml-medium.bin
rmdir models/whisper-medium

可用模型列表:

模型

大小

SHA

tiny

75 MiB

bd577a113a864445d4c299885e0cb97d4ba92b5f

tiny.en

75 MiB

c78c86eb1a8faa21b369bcd33207cc90d64ae9df

base

142 MiB

465707469ff3a37a2b9b8d8f89f2f99de7299dac

base.en

142 MiB

137c40403d78fd54d454da0f9bd998f78703390c

small

466 MiB

55356645c2b361a969dfd0ef2c5a50d530afd8d5

small.en

466 MiB

db8a495a91d927739e50b3fc1cc4c6b8f6c2d022

small.en-tdrz

465 MiB

b6c6e7e89af1a35c08e6de56b66ca6a02a2fdfa1

medium

1.5 GiB

fd9727b6e1217c2f614f9b698455c4ffd82463b4

medium.en

1.5 GiB

8c30f0e44ce9560643ebd10bbe50cd20eafd3723

large-v1

2.9 GiB

b1caaf735c4cc1429223d5a74f0f4d0b9b59a299

large-v2

2.9 GiB

0f4c8e34f21cf1a914c59d8b3ce882345ad349d6

large-v2-q5_0

1.1 GiB

00e39f2196344e901b3a2bd5814807a769bd1630

large-v3

2.9 GiB

ad82bf6a9043ceed055076d0fd39f5f186ff8062

large-v3-q5_0

1.1 GiB

e6e2ed78495d403bef4b7cff42ef4aaadcfea8de

模型是多语言的,除非模型名称包含 .en。以 -q5_0 结尾的模型是量化的。以 -tdrz 结尾的模型支持使用 tinydiarize 进行本地话者转换的标记。有关模型的更多信息可在上游(openai/whisper)获得。上面的列表是 download-ggml-model.sh 脚本支持的模型的子集,但在 https://huggingface.co/ggerganov/whisper.cpp/tree/main 和其他地方还有更多可用的模型。


3.对话模型下载

微软发布Phi-3 Mini:3.8B参数小到能塞进手机,性能媲美GPT-3.5

可以从以下位置下载Phi-3-mini:

microsoft/Phi-3-mini-4k-instruct-gguf · HF Mirror

https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf


4.虚拟机共享目录设置




  1. 启动Talk-LLama AI语音助手


./talk-llama -mw /media/sf_models/ggml-small.en.bin -ml /media/sf_models/Phi-3-mini-4k-instruct-q4.gguf -p "orange3dev"-t 8


#头条创作挑战赛# #AI工具# #ASR# #语音助手#

发表评论:

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言
    友情链接