Python调用本地ollama大模型实现智能语音助手

# 音频处理相关
pip install sounddevice soundfile pyaudio

# 语音识别
pip install faster-whisper

# HTTP请求
pip install requests

# 语音合成（可选，如果使用edge-tts）
pip install edge-tts

# 使用 Chocolatey 安装 FFmpeg（推荐）
choco install ffmpeg

# 或者手动下载 FFmpeg 并添加到系统 PATH
# 下载地址：https://ffmpeg.org/download.html

# Ubuntu/Debian
sudo apt update
sudo apt install ffmpeg

# macOS
brew install ffmpeg

# 安装 Ollama
curl -fsSL https://ollama.ai/install.sh | sh

# 拉取模型（选择其中一个）
ollama pull yi:9b
# 或者
ollama pull llama3-8b

# 启动 Ollama 服务
ollama serve

import subprocess
import sounddevice as sd
import soundfile as sf
from faster_whisper import WhisperModel
import requests

OLLAMA_MODEL = "yi:9b"  # 或者 llama3-8b，已在 Ollama 里拉取好的模型

# 录音函数，录制音频并保存为 input.wav
def record_audio(filename="input.wav", duration=5, fs=16000):
    print("🎤 正在录音，请开始说话...")
    audio = sd.rec(int(duration * fs), samplerate=fs, channels=1)
    sd.wait()
    sf.write(filename, audio, fs)
    print("✅ 录音完成")

# 语音识别函数，调用 WhisperModel 将音频转为文本
def transcribe_whisper(filename="input.wav"):
    print("🧠 Whisper 正在识别语音...")
    model = WhisperModel("medium", compute_type="int8")
    segments, _ = model.transcribe(filename, beam_size=5)
    text = "".join([seg.text for seg in segments])
    print(f"📝 识别结果：{text}")
    return text

# 与 Ollama 大模型对话，获取回复
def chat_with_ollama(prompt):
    print("💬 发送给 Ollama 中...")
    response = requests.post("http://ollama.jjsos.cn/api/generate", json={
        "model": OLLAMA_MODEL,
        "prompt": prompt,
        "stream": False
    })
    answer = response.json()["response"]
    print(f"🤖 Ollama 回复：{answer}")
    return answer

# 语音合成与播放，将文本转为语音并播放
def speak_text(text, output="reply.wav"):
    """文本转语音并播放"""
    print("🔊 正在生成语音...")
    try:
        # 直接使用 edge-tts 命令，避免 echo 管道问题
        tts_command = ["edge-tts", "--text", text, "--voice", "zh-CN-XiaoxiaoNeural", "--write-media", output]
        result = subprocess.run(tts_command, capture_output=True, text=True)
        
        # 检查命令是否成功执行
        if result.returncode != 0:
            print(f"❌ 语音合成失败: {result.stderr}")
            return
        
        # 检查文件是否存在
        import os
        if not os.path.exists(output):
            print(f"❌ 音频文件 {output} 未生成")
            return
            
        print("🔈 播放中...")
        subprocess.run(["ffplay", "-nodisp", "-autoexit", output])
        
    except Exception as e:
        print(f"❌ 语音合成或播放出错: {e}")

# 主流程：录音 -> 语音识别 -> AI对话 -> 语音合成与播放
if __name__ == "__main__":
    record_audio()  # 录音
    user_text = transcribe_whisper()  # 语音转文本
    reply_text = chat_with_ollama(user_text)  # AI对话
    speak_text(reply_text)  # 语音合成与播放

def record_audio(filename="input.wav", duration=5, fs=16000):
    print("🎤 正在录音，请开始说话...")
    audio = sd.rec(int(duration * fs), samplerate=fs, channels=1)
    sd.wait()
    sf.write(filename, audio, fs)
    print("✅ 录音完成")

def transcribe_whisper(filename="input.wav"):
    print("🧠 Whisper 正在识别语音...")
    model = WhisperModel("medium", compute_type="int8")
    segments, _ = model.transcribe(filename, beam_size=5)
    text = "".join([seg.text for seg in segments])
    print(f"📝 识别结果：{text}")
    return text

def chat_with_ollama(prompt):
    print("💬 发送给 Ollama 中...")
    response = requests.post("http://localhost:11434/api/generate", json={
        "model": OLLAMA_MODEL,
        "prompt": prompt,
        "stream": False
    })
    answer = response.json()["response"]
    print(f"🤖 Ollama 回复：{answer}")
    return answer

def speak_text(text, output="reply.wav"):
    print("🔊 正在生成语音...")
    tts_command = f"echo '{text}' | edge-tts --voice zh-CN-XiaoxiaoNeural --write-media {output}"
    subprocess.run(tts_command, shell=True)
    print("🔈 播放中...")
    subprocess.run(["ffplay", "-nodisp", "-autoexit", output])

# 1. 确保 Ollama 服务运行
ollama serve

# 2. 运行语音助手
python v.py

# 不同计算类型的性能对比
model = WhisperModel("medium", compute_type="int8")    # 推荐：速度快，内存少
model = WhisperModel("medium", compute_type="float16") # 平衡：中等速度和精度
model = WhisperModel("medium", compute_type="float32") # 最高精度，最慢速度

# 根据使用场景调整参数
record_audio(duration=3, fs=16000)   # 短对话
record_audio(duration=10, fs=22050)  # 长对话，更高音质

# 查看可用音频设备
import sounddevice as sd
print(sd.query_devices())

# 检查 Ollama 服务状态
curl http://localhost:11434/api/tags

# 测试 edge-tts
edge-tts --list-voices | grep zh-CN

# 检查 FFmpeg 安装
ffplay -version

# 可集成 pvporcupine 实现唤醒词功能
pip install pvporcupine

# 添加对话历史管理
conversation_history = []

# 可集成情感分析库
pip install transformers torch