Como instalar Google Assistant en Raspberry Pi

Google Assistant es un asistente virtual desarrollado por Google. Es una herramienta de inteligencia artificial que puede ayudar a los usuarios a realizar tareas como hacer una búsqueda en línea, establecer recordatorios, reproducir música, controlar dispositivos domésticos inteligentes y más. El asistente está disponible en dispositivos como teléfonos inteligentes, altavoces inteligentes y televisores conectados.

Gracias a que se  liberó el SDK del Google Assistant, gracias a la biblioteca auxiliar de Google para Python , tenemos una solución llave en mano para todo aquel que quiera integrar rápidamente el asistente de Google a un proyecto, de modo que  ya  podemos usar Google Home en  Español entre otros nuevos idiomas  con cualquier hw que los permita de modo que ahora es posible montar nuestro propio Google Assistant en una Raspberry Pi, en pocos minutos, con un micrófono y un altavoz, tendrá a una Raspberry Pi lista para atender sus peticiones!

En primer lugar necesitaremos  configurar el hardware y configurar el acceso a la red:

  1. Conecte el micrófono USB y el altavoz USB  a la Raspberry Pi.
  2. Inserte la tarjeta SD en el Pi de Raspberry (con NOOBS o Raspbian con el escritorio cargado).
  3. Conecte un teclado USB, ratón USB y un HDMI monitor a su Raspberry Pi. Si no tiene estos, siempre puedes conectar con el Pi remotamente.
  4. Conecte un cable ethernet o conectese a una red Wi-Fi.

Compruebe que la fecha y hora están ajustados correctamente en el dispositivo usando el comando.

date

Después de configurar el acceso, puede conectarse a la Raspberry Pi a través de SSH (opcional).

Conectar a la Raspberry Pi via SSH (opcional)

Para ejecutar comandos en la Raspberry Pi, necesitará abrir la terminal en el dispositivo o utilizar una conexión SSH. Si no tienes un monitor, teclado y ratón conectado al Raspberry Pi, debe utilizar una conexión SSH desde tu máquina de desarrollo.

Hacer seguro SSH está activado en la Raspberry Pi.

ssh pi@raspberry-pi-ip-address
password: password-for-raspberry-pi

Por ejemplo:

$ ssh [email protected]
password: raspberry

En Raspbian, esa es  la contraseña por defecto para el usuario. Debe cambiar la contraseña inmediatamente (ejecutar en un terminal en el Pi).piraspberrypasswd

Utilizar el terminal o la sesión SSH que configurar en este paso para entrar en los comandos en el resto de esta guía. Es el directorio de trabajo para ambos./home/pi

Respecto al micrófono usb

Dado el precio y el tamaño, se necesita  un micrófono funcional que sea capaz de captar voces cercanas o grandes sonidos pero   sin gastarse una fortuna  requiriéndose  un micrófono  usb  que sea  reconocido y funcione con Raspbian en una Raspberry Pi3( por  ejemplo el modelo  RRunzfon de kinobo)

Este tipo de micrófonos no son de alta fidelidad de modo que cuando escuche las reproducciones está claro que hay mucha estática a menos que esté hablando directamente con el micrófono, pero para este proyecto  lo importante es que sea  capaz de funcionar para el reconocimiento de voz utilizando la compilación Alexa Raspberry Pi.

Es interesante instalar la activación “siempre encendida” para no tener que presionar un botón para activarla, y pero dadas  las características de este modesto micrófono  solo  funcionara   si está cerca de este

Dado el tamaño y el precio, esta es una de las maneras más fáciles de agregar un micrófono por menos de $ 10, pero si está esperando un audio de alta calidad, es mejor que busque otras opcion. Para aquellos que buscan un micrófono decente para uso diario, existen mejores opciones en cuanto a calidad de sonido. (lo que hace que este micrófono sea genial es lo pequeño y económico que es)

Para las personas que buscan probar Google Assistant  con  Raspberry Pi, este micrófonono funciona con RPI v1, pero sí funciona con RPI v3 de fábrica. Cuando lo conecta al puerto USB, se detecta automáticamente y puede verlo en la salida “arecord -l“.

Bajo el sistema operativo Linux, parece que el sonido grabado es un poco bajo. Es posible que necesite normalizar (aumentar la ganancia) en el sonido usando un programa como mp3gain, ffmpeg, sox, etc. o mejor aún aumentar la ganancia en el receptor usando pulseaudio. Si eleva el volumen a un nivel alto, obtendrá una gran cantidad de estática, que es de esperar.

microfono usb para Raspberry

Prueba de sonido

Usaremos una Raspberry Pi 3 con Raspbian instalado y actualizado, lo primero será verificar que el audio nos funciona bien, tanto el del micrófono como los altavoces por donde queremos sacar el sonido ,para ello editamos nuestro fichero de configuración de audio ‘~/.asound’ y especificamos el micrófono que estamos usando, en este caso un USB específico, pero también podríamos usar el micro de una webcam, así como el audio que me lo saque por la predeterminada

Antes de continuar pues  debemos configurar el sistema de audio en la Raspberry Pi.

Encontrar los dispositivos de grabación y reproducción.

  1. Coloque el micrófono USB en la lista de dispositivos de hardware de captura. Anote el número de tarjeta y el número de dispositivo.

    arecord -l

    En la salida del comando anterior verá  la lista de dispositivos de hardware de captura de audio.

    **** List of CAPTURE Hardware Devices ****
    card 1: Device [USB PnP Sound Device], device 0: USB Audio [USB Audio]
    Subdevices: 1/1
    Subdevice #0: subdevice #0
    card 2: Device_1 [USB PnP Sound Device], device 0: USB Audio [USB Audio]
    Subdevices: 1/1
    Subdevice #0: subdevice #0

    Ahora  anote el número de tarjeta  asociado( card)  al micrófono  USB  así como  el número de dispositivo(subdevice). 

      Ahora necesitamos saber saber  el numero dispositivos de audio  de salida  reconocidos en su Raspberry Pi , por lo que necesitamos  ejecutar el comando 

    aplay -l 

    En la salida del comando anterior vera   la lista de dispositivos de hardware de salida de audio.

    **** List of PLAYBACK Hardware Devices ****
    card 0: ALSA [bcm2835 ALSA], device 0: bcm2835 ALSA [bcm2835 ALSA]
    Subdevices: 7/7
    Subdevice #0: subdevice #0
    Subdevice #1: subdevice #1
    Subdevice #2: subdevice #2
    Subdevice #3: subdevice #3
    Subdevice #4: subdevice #4
    Subdevice #5: subdevice #5
    Subdevice #6: subdevice #6
    card 0: ALSA [bcm2835 ALSA], device 1: bcm2835 ALSA [bcm2835 IEC958/HDMI]
    Subdevices: 1/1
    Subdevice #0: subdevice #0
    card 2: Device_1 [USB PnP Sound Device], device 0: USB Audio [USB Audio]
    Subdevices: 1/1
    Subdevice #0: subdevice #0

    Tenga en cuenta que el conector de 3,5 mm se etiqueta típica mente  como ALSA [bcm2835 ALSA], device 0: bcm2835 ALSA [bcm2835 ALSA] y la salida  por hdmi es típicamente   [bcm2835 ALSA], device 1: bcm2835 ALSA [bcm2835 IEC958/HDMI] I  

    El altavoz USB puede  aparecer  en la lista de dispositivos de hardware de reproducción  como Device_1 [USB PnP Sound Device], device 0: USB Audio [USB Audio]   o algo similar. Anote el número de tarjeta y el número de dispositivo

        Crear un nuevo archivo llamado .asoundrec  en el directorio home(/home/pi). Asegúrese de que tiene las definiciones correctas  para micrófono y altavoz  obtenidas en los pasos anteriroes  Utilice la configuración  a continuación pero cambie <card number> y  <device number>  con el número que anotó en el paso anterior. Hacer esto para ambos y..

    pcm.!default {
    type hw
    capture.pcm «mic»
    playback.pcm «speaker»
    }
    pcm.mic {
    type plug
    slave {
    pcm «hw:2,0″
    }
    }
    pcm.speaker {
    type plug
    slave {
    pcm «hw:2,0«
    }
    }

    pcm.!default {
    type hw
    card 0
    }

    ctl.!default {
    type hw
    card 0
    }

  2. Ahora nos toca que el sistema de audio funciona , para lo cual deberemos verificar esa grabación y la reproducción del ejemplo primero ajustando el volumen de reproducción.

    alsamixer

    Pulsando la tecla de flecha hacia arriba para ajustar el volumen de reproducción nivel a alrededor de 70.

  3. Reproduciremos un sonido de prueba (se trata de una persona que habla). Presione Ctrl + C al hecho. Si no se oye nada cuando se ejecuta esto, Compruebe la conexión del altavoz.

    speaker-test -t wav
  4. Grabaremos un clip audio corto.

    arecord –format=S16_LE –duration=5 –rate=16000 –file-type=raw out.raw
  5. Comprobaremos  la grabación reproduciendolo. Si no se oye nada, puede que necesite registrar el volumen de grabación. alsamixer

    aplay –format=S16_LE –rate=16000 out.raw
Si están trabajando la grabación y reproducción, ya se ha configurado el  audio. Si no es así, verifique que el micrófono y el altavoz están correctamente conectados. Si no es el problema, intente un diferentes micrófono o altavoz.

Tenga en cuenta que si tiene un monitor HDMI y un altavoz de jack de 3,5 mm conectado, usted puede reproducir audio por  cualquiera de los dos. Ejecute el siguiente comando:

sudo raspi-config

Ir a Opciones avanzadas > Audio y seleccione el dispositivo de salida deseada.

 

Configurar un proyecto de desarrollo y una cuenta de valores

Configurar un proyecto de consola de acciones

Un proyecto de plataforma de la nube de Google, administrado por la consola de acciones, da su proyecto acceso a la API de Google Assistant. El proyecto seguimiento de uso de cuotas y le da indicadores valiosos para las peticiones de su hardware.

Para permitir el acceso a la API de Google Assistant, haga lo siguiente:

  1. Abra la consola de acciones. Ir a la consola de acciones
  2. Haga clic en Agregar/importar proyecto.
  3. Para crear un nuevo proyecto, escriba un nombre en el cuadro nombre del proyecto,NO OLVIDAR SELECCIONAR EL IDIOMA ESPAÑOL COMO IDIOMA POR DEFECTO  y haga clic en Crear proyecto.
  4. Si ya tienes un proyecto de plataforma de la nube de Google existente, puede seleccione ese proyecto e importarlo en su lugar.
  5. Si ha creado un nuevo proyecto, haga clic en el cuadro de registro del dispositivo en la parte inferior de la página. Si ha importado un proyecto previamente creado, esta casilla no aparecerá; Seleccione la ficha de registro del dispositivo (en Opciones avanzadas) en la barra de navegación izquierda. Mantener esta pestaña abierta. Se utilizará para registrar un modelo de dispositivo en un paso posterior.
  6. Habilitar la API Asistente de Google en el proyecto seleccionado (vea los Términos de servicio). Necesita hacer esto en la consola de la plataforma de nube. Habilitar la API Haga clic en Activar.
  7. Debe configurar el OAuth pantalla el consentimiento para su proyecto en la consola de la plataforma de nube. Tenga en cuenta que la mayoría de los campos en esta página es opcional.

Defina los controles de la actividad de su cuenta

Para utilizar al asistente de Google, deben compartir ciertos datos de actividad con Google. El Asistente de Google necesita estos datos para funcionar correctamente; Esto no es específico para el SDK.

Abra la Página de controles de la actividad de la cuenta de Google que desea utilizar con el asistente. Usted puede utilizar cualquier cuenta de Google, no es necesario que tu cuenta de desarrollador.

Asegurar la siguiente palanca interruptores activado (azul):

  • Actividad de App & Web
    • Además, asegúrese de seleccionar la casilla de verificación incluir cromo historia y actividad de sitios, aplicaciones y dispositivos que usan servicios de Google .
  • Información del dispositivo
  • Actividad Audio & voz

Registrar el modelo de dispositivo

Para el Asistente de Google responder a los comandos correspondientes para su dispositivo y en el contexto dado, el asistente necesita información acerca de su dispositivo en particular. Usted proporcione esta informacion, que incluye campos como tipo de dispositivo y el fabricante, como un modelo de dispositivo. Usted puede pensar de este modelo como una clase general de dispositivo – como una luz, altavoces o robot de juguete.

Esta información es accesible a la asistente de Google y se asocia con su proyecto de consola de acciones. Otros proyectos no tienen acceso a la información de su modelo y dispositivo.

Utilizar el registro de interfaz de usuario

Utilizar el registro de interfaz de usuario en la Consola de acciones para registrar un modelo de dispositivo.

Haga clic en el botón de Registro de modelo .

Device models tab

Crear modelo

  1. Rellene todos los campos para su dispositivo. Seleccione cualquier tipo de dispositivo, como la luz. Vea el dispositivo modelo JSON referencia para obtener más información en estos campos.
  2. Cuando haya terminado, haga clic en Modelo de registro.

Descargar credenciales

El archivo debe estar ubicado en el dispositivo. Este archivo contiene un ID de cliente y secreto del cliente, pero ningún token de acceso. Más tarde, se ejecuta una herramienta de autorización y hacer referencia a este archivo para autorizar la muestra auxiliar SDK de Google para realizar las consultas el Asistente de Google (consulte la documentación de OAuth 2.0 para más información). No cambiar el nombre de este archivo.client_secret_<client-id>.json

Descargar este archivo y transferirlo al dispositivo. Haga clic en siguiente.

Download credentials

Para la Raspberry Pi sólo

Asegúrese de que este archivo se encuentra en. Si desea cargar el archivo en el dispositivo, haga lo siguiente:/home/pi

  1. Abra una nueva ventana de terminal. Ejecute el comando siguiente en esta nueva terminal: Nota: No ejecute el siguiente comando en una sesión SSH conectado al dispositivo. Este comando transfiere el archivo JSON de un directorio en tu máquina de desarrollo para el dispositivo. Una sesión de SSH no puede acceder a sus directorios locales. scp ~/Downloads/client_secret_client-id.json pi@raspberry-pi-ip-address:/home/pi/ password: password-for-device
  2. Cierre esta ventana del terminal.

Especificar los rasgos

Más adelante, se especifica las capacidades diferentes compatible con su dispositivo en esta pantalla. Pero por ahora, haga clic en el botón SKIP .

Specify traits

Editar el modelo

Si usted necesita cambiar el modelo, haga clic en la fila correspondiente en la lista. Asegúrese de haga clic en Guardar después de las ediciones.

Model list

Si desea descargar el archivo de credenciales de nuevo, haga clic en las elipsis. Puede eliminar el modelo de este menú.

Edit menu

Formas alternativas de registro

También puede utilizar la herramienta de registro (incluido con las muestras de SDK Asistente de Google) o la API REST para registrar un modelo de dispositivo.

Debe ser un propietario o Editor de un determinado proyecto de consola de acciones a solicitar modelos. Agregar estas funciones a otros usuarios de la consola de la plataforma de nube, consulte la documentación de IAM.

 

Instalar el SDK y  el código

Siga estas instrucciones para instalar el SDK y el código en su proyecto. Ejecutar todos los comandos en esta página en un terminal en el dispositivo (ya sea directamente o a través una conexión SSH).

Configurar un nuevo entorno virtual de Python

Utilizar un entorno virtual de Python para aislar el SDK y sus dependencias de los paquetes de Python del sistema.Nota: Para la Raspberry Pi, ejecute los siguientes comandos desde el directorio /home/pi .

(Recomendado) Para Python 3:

sudo apt-get update sudo apt-get install python3-dev python3-venv # Use python3.4-venv if the package cannot be found. python3 -m venv env env/bin/python -m pip install --upgrade pip setuptools wheel source env/bin/activate

Para Python 2.7:

sudo apt-get update sudo apt-get install python-dev python-virtualenv virtualenv env --no-site-packages env/bin/python -m pip install --upgrade pip setuptools wheel source env/bin/activate

Obtener el paquete

El paquete de Google Assistant SDK contiene todo el código necesario para obtener al asistente de Google corriendo en el dispositivo, incluyendo el código de ejemplo.

Instalar dependencias del sistema del paquete:

sudo apt-get install portaudio19-dev libffi-dev libssl-dev libmpg123-dev

Utilice para instalar la última versión del paquete Python en el entorno virtual: pip

python -m pip install --upgrade google-assistant-library==1.0.0
python -m pip install --upgrade google-assistant-sdk[samples]==0.5.1

Generar credenciales

  1. Instalar o actualizar la herramienta de autorización: python -m pip install –upgrade google-auth-oauthlib[tool]
  2. Generar credenciales para poder ejecutar el código de ejemplo y herramientas. Referencia el archivo JSON que descargó en un anterior paso; puede que necesite copiar el dispositivo. No cambiar el nombre de este archivo. google-oauthlib-tool –scope https://www.googleapis.com/auth/assistant-sdk-prototype \ –scope https://www.googleapis.com/auth/gcm \ –save –headless –client-secrets /path/to/client_secret_client-id.json Debería ver una dirección URL que aparece en el terminal: Please visit this URL to authorize this application: https://…
  3. Copia el URL y pegarlo en un navegador (esto se puede hacer en cualquier máquina). La página le pedirá que inicie sesión en su cuenta Google. Ingrese a la cuenta de Google que creó el proyecto de desarrollo en el anterior paso. Nota: Para usar otras cuentas, primero Agregar esas cuentas a tu consola de acciones proyecto como los propietarios de.
  4. Después de que usted apruebe la solicitud de autorización de la API, aparecerá un código en su navegador, tales como «4/XXXX». Copie y pegue este código en el terminal: Enter the authorization code: Si la autorización tuvo éxito, usted verá una respuesta similar al siguiente: credentials saved: /path/to/.config/google-oauthlib-tool/credentials.json Si en cambio ves, ha introducido un código incorrecto. Intentarlo de nuevo, teniendo cuidado de copiar y pegar todo el código.InvalidGrantError Nota: La herramienta de autorización crea un nuevo archivo de credentials.json en un directorio oculto .config en el dispositivo. Este archivo contiene un token de acceso que se utiliza para llamar a la API de ayudante de Google.

Ejecutar el código de ejemplo

En este punto, usted está listo para ejecutar el ejemplo y hacer una consulta.

En el siguiente comando:

  • Reemplace con el ID de proyecto de plataforma de la nube de Google para el proyecto de acciones de consola que creó. Para encontrar el ID de proyecto en la Consola de acciones, seleccione el proyecto, haga clic en el icono de engranaje y seleccione ajustes del proyecto.my-dev-project
  • Reemplace con el nombre del modelo creado en el anterior paso.my-model
googlesamples-assistant-hotword --project-id my-dev-project --device-model-id my-model

Decir Google Ok o Hey Google, seguido de tu consulta. Usted puede intentar algunos de los siguientes:

  • ¿quién soy?
  • Escuchar podcast de este estilo de vida americano.
  • ¿Qué es el tiempo en San Francisco?

Si el asistente no responde, siga las instrucciones de solución de problemas.

Para cambiar el idioma para el Asistente de Google o para permitir resultados personales, utilice el Asistente de Google app.

Si usted tiene un dispositivo de fundido en la misma red y configurado con la misma cuenta de usuario, usted puede controlar de forma remota:

  • Google ok, jugar Spotify en el altavoz de la cocina.

Para transmitir un mensaje de voz, asegúrese de primero establecer la ubicación del dispositivo en el Asistente de Google app. Entonces haga lo siguiente:

  • Google ok, difusión de venir a cenar.

Encontrar el ID de instancia de dispositivo

Al ejecutar la muestra la primera vez, se generará una instancia de dispositivo para su dispositivo en particular. Esta instancia de dispositivo se asocia con el modelo de dispositivo que especificó para ejecutar el ejemplo. También puede crear la instancia mediante la herramienta de registro.

La muestra guarda el identificador de instancia de dispositivo. Si ejecuta la muestra con el mismo identificador de modelo, su valor por defecto usando el identificador de instancia de dispositivo guardado.

Encontrar el ID de instancia de dispositivo en la consola para la muestra.

device_model_id: my-modeldevice_id: 1C3E1558B0023E49F71CA0D241DA03CF # Device instance IDRegistering...Done.ON_MUTED_CHANGED:  {'is_muted': False}ON_START_FINISHED...

Pasos a seguir

Una vez que el Asistente de Google en su proyecto, probar estos:

  1. Personalizar cómo su proyecto interactúa con el asistente. Por ejemplo, activar al asistente con el empuje de un botón o parpadear un LED cuando se reproduce audio. Incluso puede mostrar una transcripción de reconocimiento de voz desde el asistente en pantalla.
  2. Control de su proyecto con las acciones del dispositivo. Por ejemplo, pedir su lámpara con el built-in ayudante, encender y cambiar su brillo.

Personalizar cómo su proyecto interactúa con el asistente

Activar el asistente

Con la biblioteca auxiliar de Google, activarás una solicitud de asistente hablando un hotword como Google Ok. Puede silenciar el micrófono para detener al asistente de la escucha para el hotword. Utilice el set_mic_mute() para controlar esto. Desencadenar el método start_conversation() basado en su propio evento personalizado.

Obtener la transcripción de la solicitud del usuario

El SDK de Google ayudante le da una transcripción del texto de la solicitud del usuario. Utilizar esto para proporcionar feedback al usuario al representar el texto a la pantalla, o incluso para algo más creativo como realizar algunas acciones locales en el dispositivo.

La transcripción se encuentra en un objeto de cadena de Python en el evento ON_RECOGNIZING_SPEECH_FINISHED .

Su proyecto con acciones de dispositivo de control

Puede Agregar acciones de dispositivo para el asistente que le permite controlar su dispositivo a través de voz. Extender la muestra de asistente de biblioteca de Google para incluir Acciones de dispositivo.

Fuente https://developers.google.com/assistant/sdk/guides/library/python/embed/setup

Deja una respuesta