1.内容概要
视频教程关注同名抖音号Orange3dev(
https://www.douyin.com/user/MS4wLjABAAAAicBGZTE2kX2EVHJPe8Ugk3_nlJk9Nha8OZh4Bo_nTu8)
2.语音转文本模型下载
$ ./download-ggml-model.sh base.en
- 2.2手动下载预转换模型
ggml 模型可以从以下位置下载:
https://huggingface.co/ggerganov/whisper.cpp/tree/main
https://ggml.ggerganov.com
mkdir models/whisper-medium
python models/convert-pt-to-ggml.py ~/.cache/whisper/medium.pt ~/path/to/repo/whisper/ ./models/whisper-medium
mv ./models/whisper-medium/ggml-model.bin models/ggml-medium.bin
rmdir models/whisper-medium
可用模型列表:
模型 | 大小 | SHA |
tiny | 75 MiB | bd577a113a864445d4c299885e0cb97d4ba92b5f |
tiny.en | 75 MiB | c78c86eb1a8faa21b369bcd33207cc90d64ae9df |
base | 142 MiB | 465707469ff3a37a2b9b8d8f89f2f99de7299dac |
base.en | 142 MiB | 137c40403d78fd54d454da0f9bd998f78703390c |
small | 466 MiB | 55356645c2b361a969dfd0ef2c5a50d530afd8d5 |
small.en | 466 MiB | db8a495a91d927739e50b3fc1cc4c6b8f6c2d022 |
small.en-tdrz | 465 MiB | b6c6e7e89af1a35c08e6de56b66ca6a02a2fdfa1 |
medium | 1.5 GiB | fd9727b6e1217c2f614f9b698455c4ffd82463b4 |
medium.en | 1.5 GiB | 8c30f0e44ce9560643ebd10bbe50cd20eafd3723 |
large-v1 | 2.9 GiB | b1caaf735c4cc1429223d5a74f0f4d0b9b59a299 |
large-v2 | 2.9 GiB | 0f4c8e34f21cf1a914c59d8b3ce882345ad349d6 |
large-v2-q5_0 | 1.1 GiB | 00e39f2196344e901b3a2bd5814807a769bd1630 |
large-v3 | 2.9 GiB | ad82bf6a9043ceed055076d0fd39f5f186ff8062 |
large-v3-q5_0 | 1.1 GiB | e6e2ed78495d403bef4b7cff42ef4aaadcfea8de |
模型是多语言的,除非模型名称包含 .en。以 -q5_0 结尾的模型是量化的。以 -tdrz 结尾的模型支持使用 tinydiarize 进行本地话者转换的标记。有关模型的更多信息可在上游(openai/whisper)获得。上面的列表是 download-ggml-model.sh 脚本支持的模型的子集,但在 https://huggingface.co/ggerganov/whisper.cpp/tree/main 和其他地方还有更多可用的模型。
3.对话模型下载
微软发布Phi-3 Mini:3.8B参数小到能塞进手机,性能媲美GPT-3.5
可以从以下位置下载Phi-3-mini:
microsoft/Phi-3-mini-4k-instruct-gguf · HF Mirror
https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf
4.虚拟机共享目录设置
- 启动Talk-LLama AI语音助手
./talk-llama -mw /media/sf_models/ggml-small.en.bin -ml /media/sf_models/Phi-3-mini-4k-instruct-q4.gguf -p "orange3dev"-t 8
#头条创作挑战赛# #AI工具# #ASR# #语音助手#