MagicMirror ile sesli asistan: dinleme, yanıt ve hata yönetimini ayırmak

Akıllı ayna üzerinde çalışan bir sesli asistan tek bir modelden oluşmaz. Mikrofon, uyandırma, konuşma tanıma, istek yönetimi ve seslendirme ayrı bileşenlerdir. Bir aşamanın çalışması bütün zincirin güvenilir olduğu anlamına gelmez. Bu rehber, kişisel bir laboratuvar projesinde bu aşamaların nasıl ayrılabileceğini ve nasıl sınanabileceğini anlatır.

1. Ses girişini doğrula
2. Uyandırmayı ayır
3. Konuşmayı metne çevir
4. İsteği güvenli yönlendir
5. Yanıtı seslendir
6. Hata ve gizliliği sına

Önce ses zincirini bağımsız doğrulayın

Mikrofon aygıtı, örnekleme biçimi ve giriş seviyesi uygulama dışındaki kısa yerel kayıtla kontrol edilir. Çıkış aygıtı ayrıca sınanır. Kayıt başarılı değilken konuşma modelini değiştirmek giriş sorununu çözmez. Bluetooth bağlantısı kullanılıyorsa yeniden bağlantı ve mikrofon açıldığında profil değişimi test edilmelidir.

MagicMirror arayüzü ile ses motorunu ayrı süreçler olarak düşünmek hata ayırmayı kolaylaştırır. Arayüz görünürken arka plan dinleyicisi durmuş olabilir. Sağlık kontrolü yalnızca ana sayfanın açılmasına bağlanmamalıdır.

Uyandırma ile konuşma tanımayı ayrı ölçün

Uyandırma sözcüğünün algılanması, sonraki cümlenin doğru çözüldüğünü göstermez. Ortam gürültüsü, mikrofon uzaklığı ve konuşma dili için ayrı test kümesi hazırlanır. Yanlış uyanma ile kaçırılan komut sayıları ayrı kaydedilir. Tek başarılı deneme üzerinden doğruluk iddiası kurulmaz.

Vosk gibi yerel bir konuşma tanıma motoru seçildiğinde uygun dil modeli ve donanım kapasitesi değerlendirilir. Yerel işlem, verinin buluta gönderilmesini azaltabilir; ancak modelin doğruluğu ve gecikmesi gerçek cihazda ölçülmelidir.

İstek yönlendirmesini sınırlı ve öngörülebilir tutun

Hava durumu gibi bilgi isteği ile cihazı etkileyen komut aynı yetkide çalıştırılmamalıdır. Ses girdisi doğrudan shell komutuna çevrilmez. İzin verilen eylemler, parametre doğrulaması ve gerekli kullanıcı onayı uygulama katmanında tanımlanır.

Bir dış hizmet kullanılıyorsa anahtar tarayıcı modülüne veya herkese açık JavaScript dosyasına konmaz. Sunucu tarafında dar kapsamlı bir aracı üzerinden yönetilir. Zaman aşımı, tekrar deneme üst sınırı ve eşzamanlı istek sayısı belirlenir.

Yanıt sırasını ve çevrimdışı davranışı tasarlayın

Uzun süren istekte dinleme göstergesi ile yanıt hazırlanıyor göstergesi ayrılır. Önceki isteğin geç gelen yanıtı yeni konuşmanın üzerine yazmamalıdır. İstek kimliği ve iptal davranışı bu karışıklığı önler. Seslendirme sırasında sistemin kendi sesine yeniden uyanması da test kapsamındadır.

Ağ kesildiğinde sessizce beklemek yerine anlaşılır kısa bir durum bildirimi verilir. Yerel komutlar destekleniyorsa yalnızca gerçekten çalışabilenler sunulur. İnternet yokken bulut hizmetinin sonucu varmış gibi gösterilmez.

Gizlilik ve uzun süreli kabul testi yapın

Ev ortamındaki ses kayıtları kişisel veri içerebilir. Sürekli ham ses saklama varsayılan olmamalıdır. Kayıt amacı, erişim ve silme süresi açıkça belirlenir. Misafirlerin haberi olmadan kayıt veya bulut aktarımı yapılmaz.

Kabul testi yeniden başlatma, servis çökmesi, ağ kesintisi ve mikrofon bağlantısının kopmasını içerir. Aşamaların gecikmesi ayrı ölçülür. Birkaç saatlik kararlı çalışma ile haftalarca güvenilir kullanım aynı kanıt değildir; gözlem süresi sonuçla birlikte belirtilir.

• Yerel giriş ve çıkış testi başarılı.
• Uyandırma ve tanıma ölçümleri ayrı.
• Komut kapsamı ve anahtarlar korunuyor.
• Geç yanıt ve çevrimdışı durum yönetiliyor.
• Ham ses saklama ve silme kuralı belirli.

İlgili çalışma notları

• Raspberry Pi kiosk kararlılığı: systemd, tarayıcı ve Bluetooth ses
• ESP32 Wi-Fi CSI ile varlık algılama: önce veri kalitesi, sonra model
• Cron görevi çalışmıyor: ortam, kilit, çıktı ve başarı ölçütü