Google Assistant es un asistente virtual desarrollado por Google. Es una herramienta de inteligencia artificial que puede ayudar a los usuarios a realizar tareas como hacer una búsqueda en línea, establecer recordatorios, reproducir música, controlar dispositivos domésticos inteligentes y más. El asistente está disponible en dispositivos como teléfonos inteligentes, altavoces inteligentes y televisores conectados.

Gracias a que se  liberó el SDK del Google Assistant, gracias a la biblioteca auxiliar de Google para Python , tenemos una solución llave en mano para todo aquel que quiera integrar rápidamente el asistente de Google a un proyecto, de modo que  ya  podemos usar Google Home en  Español entre otros nuevos idiomas  con cualquier hw que los permita de modo que ahora es posible montar nuestro propio Google Assistant en una Raspberry Pi, en pocos minutos, con un micrófono y un altavoz, tendrá a una Raspberry Pi lista para atender sus peticiones!

En primer lugar necesitaremos  configurar el hardware y configurar el acceso a la red:

1. Conecte el micrófono USB y el altavoz USB  a la Raspberry Pi.
2. Inserte la tarjeta SD en el Pi de Raspberry (con NOOBS o Raspbian con el escritorio cargado).
3. Conecte un teclado USB, ratón USB y un HDMI monitor a su Raspberry Pi. Si no tiene estos, siempre puedes conectar con el Pi remotamente.
4. Conecte un cable ethernet o conectese a una red Wi-Fi.

Compruebe que la fecha y hora están ajustados correctamente en el dispositivo usando el comando.

date

Después de configurar el acceso, puede conectarse a la Raspberry Pi a través de SSH (opcional).

Conectar a la Raspberry Pi via SSH (opcional)

Para ejecutar comandos en la Raspberry Pi, necesitará abrir la terminal en el dispositivo o utilizar una conexión SSH. Si no tienes un monitor, teclado y ratón conectado al Raspberry Pi, debe utilizar una conexión SSH desde tu máquina de desarrollo.Hacer seguro SSH está activado en la Raspberry Pi

ssh pi@raspberry-pi-ip-address

password: password-for-raspberry-pi

Respecto al micrófono usb

Dado el precio y el tamaño, se necesita  un micrófono funcional que sea capaz de captar voces cercanas o grandes sonidos pero   sin gastarse una fortuna  requiriéndose  un micrófono  usb  que sea  reconocido y funcione con Raspbian en una Raspberry Pi3( por  ejemplo el modelo  RRunzfon de kinobo)

Este tipo de micrófonos no son de alta fidelidad de modo que cuando escuche las reproducciones está claro que hay mucha estática a menos que esté hablando directamente con el micrófono, pero para este proyecto  lo importante es que sea  capaz de funcionar para el reconocimiento de voz utilizando la compilación Alexa Raspberry Pi.

Es interesante instalar la activación “siempre encendida” para no tener que presionar un botón para activarla, y pero dadas  las características de este modesto micrófono  solo  funcionara   si está cerca de este

Dado el tamaño y el precio, esta es una de las maneras más fáciles de agregar un micrófono por menos de $ 10, pero si está esperando un audio de alta calidad, es mejor que busque otras opcion. Para aquellos que buscan un micrófono decente para uso diario, existen mejores opciones en cuanto a calidad de sonido. (lo que hace que este micrófono sea genial es lo pequeño y económico que es)

Para las personas que buscan probar Google Assistant  con  Raspberry Pi, este micrófonono funciona con RPI v1, pero sí funciona con RPI v3 de fábrica. Cuando lo conecta al puerto USB, se detecta automáticamente y puede verlo en la salida “arecord -l“.

Bajo el sistema operativo Linux, parece que el sonido grabado es un poco bajo. Es posible que necesite normalizar (aumentar la ganancia) en el sonido usando un programa como mp3gain, ffmpeg, sox, etc. o mejor aún aumentar la ganancia en el receptor usando pulseaudio. Si eleva el volumen a un nivel alto, obtendrá una gran cantidad de estática, que es de esperar.

Prueba de sonido

Usaremos una Raspberry Pi 3 con Raspbian instalado y actualizado, lo primero será verificar que el audio nos funciona bien, tanto el del micrófono como los altavoces por donde queremos sacar el sonido ,para ello editamos nuestro fichero de configuración de audio ‘~/.asound’ y especificamos el micrófono que estamos usando, en este caso un USB específico, pero también podríamos usar el micro de una webcam, así como el audio que me lo saque por la predeterminada

Antes de continuar pues  debemos configurar el sistema de audio en la Raspberry Pi.

Encontrar los dispositivos de grabación y reproducción.

Configurar un proyecto de desarrollo y una cuenta de valores

Configurar un proyecto de consola de acciones

Un proyecto de plataforma de la nube de Google, administrado por la consola de acciones, da su proyecto acceso a la API de Google Assistant. El proyecto seguimiento de uso de cuotas y le da indicadores valiosos para las peticiones de su hardware.

Para permitir el acceso a la API de Google Assistant, haga lo siguiente:

1. Abra la consola de acciones. Ir a la consola de acciones
2. Haga clic en Agregar/importar proyecto.
3. Para crear un nuevo proyecto, escriba un nombre en el cuadro nombre del proyecto,NO OLVIDAR SELECCIONAR EL IDIOMA ESPAÑOL COMO IDIOMA POR DEFECTO  y haga clic en Crear proyecto.
4. Si ya tienes un proyecto de plataforma de la nube de Google existente, puede seleccione ese proyecto e importarlo en su lugar.
5. Si ha creado un nuevo proyecto, haga clic en el cuadro de registro del dispositivo en la parte inferior de la página. Si ha importado un proyecto previamente creado, esta casilla no aparecerá; Seleccione la ficha de registro del dispositivo (en Opciones avanzadas) en la barra de navegación izquierda. Mantener esta pestaña abierta. Se utilizará para registrar un modelo de dispositivo en un paso posterior.
6. Habilitar la API Asistente de Google en el proyecto seleccionado (vea los Términos de servicio). Necesita hacer esto en la consola de la plataforma de nube. Habilitar la API Haga clic en Activar.
7. Debe configurar el OAuth pantalla el consentimiento para su proyecto en la consola de la plataforma de nube. Tenga en cuenta que la mayoría de los campos en esta página es opcional.

Defina los controles de la actividad de su cuenta

Para utilizar al asistente de Google, deben compartir ciertos datos de actividad con Google. El Asistente de Google necesita estos datos para funcionar correctamente; Esto no es específico para el SDK.

Abra la Página de controles de la actividad de la cuenta de Google que desea utilizar con el asistente. Usted puede utilizar cualquier cuenta de Google, no es necesario que tu cuenta de desarrollador.

Asegurar la siguiente palanca interruptores activado (azul):

• Actividad de App & Web
  • Además, asegúrese de seleccionar la casilla de verificación incluir cromo historia y actividad de sitios, aplicaciones y dispositivos que usan servicios de Google .
• Información del dispositivo
• Actividad Audio & voz

Registrar el modelo de dispositivo

Para el Asistente de Google responder a los comandos correspondientes para su dispositivo y en el contexto dado, el asistente necesita información acerca de su dispositivo en particular. Usted proporcione esta informacion, que incluye campos como tipo de dispositivo y el fabricante, como un modelo de dispositivo. Usted puede pensar de este modelo como una clase general de dispositivo – como una luz, altavoces o robot de juguete.

Esta información es accesible a la asistente de Google y se asocia con su proyecto de consola de acciones. Otros proyectos no tienen acceso a la información de su modelo y dispositivo.

Utilizar el registro de interfaz de usuario

Utilizar el registro de interfaz de usuario en la Consola de acciones para registrar un modelo de dispositivo.

Haga clic en el botón de Registro de modelo .

Crear modelo

1. Rellene todos los campos para su dispositivo. Seleccione cualquier tipo de dispositivo, como la luz. Vea el dispositivo modelo JSON referencia para obtener más información en estos campos.
2. Cuando haya terminado, haga clic en Modelo de registro.

Descargar credenciales

El archivo debe estar ubicado en el dispositivo. Este archivo contiene un ID de cliente y secreto del cliente, pero ningún token de acceso. Más tarde, se ejecuta una herramienta de autorización y hacer referencia a este archivo para autorizar la muestra auxiliar SDK de Google para realizar las consultas el Asistente de Google (consulte la documentación de OAuth 2.0 para más información). No cambiar el nombre de este archivo.client_secret_<client-id>.json

Descargar este archivo y transferirlo al dispositivo. Haga clic en siguiente.

Para la Raspberry Pi sólo

Asegúrese de que este archivo se encuentra en. Si desea cargar el archivo en el dispositivo, haga lo siguiente:/home/pi

1. Abra una nueva ventana de terminal. Ejecute el comando siguiente en esta nueva terminal: Nota: No ejecute el siguiente comando en una sesión SSH conectado al dispositivo. Este comando transfiere el archivo JSON de un directorio en tu máquina de desarrollo para el dispositivo. Una sesión de SSH no puede acceder a sus directorios locales. scp ~/Downloads/client_secret_client-id.json pi@raspberry-pi-ip-address:/home/pi/ password: password-for-device
2. Cierre esta ventana del terminal.

Especificar los rasgos

Más adelante, se especifica las capacidades diferentes compatible con su dispositivo en esta pantalla. Pero por ahora, haga clic en el botón SKIP .

Editar el modelo

Si usted necesita cambiar el modelo, haga clic en la fila correspondiente en la lista. Asegúrese de haga clic en Guardar después de las ediciones.

Si desea descargar el archivo de credenciales de nuevo, haga clic en las elipsis. Puede eliminar el modelo de este menú.

Formas alternativas de registro

También puede utilizar la herramienta de registro (incluido con las muestras de SDK Asistente de Google) o la API REST para registrar un modelo de dispositivo.

Debe ser un propietario o Editor de un determinado proyecto de consola de acciones a solicitar modelos. Agregar estas funciones a otros usuarios de la consola de la plataforma de nube, consulte la documentación de IAM.

Instalar el SDK y  el código

Siga estas instrucciones para instalar el SDK y el código en su proyecto. Ejecutar todos los comandos en esta página en un terminal en el dispositivo (ya sea directamente o a través una conexión SSH).

Configurar un nuevo entorno virtual de Python

Utilizar un entorno virtual de Python para aislar el SDK y sus dependencias de los paquetes de Python del sistema.Nota: Para la Raspberry Pi, ejecute los siguientes comandos desde el directorio /home/pi .

(Recomendado) Para Python 3:

sudo apt-get update sudo apt-get install python3-dev python3-venv # Use python3.4-venv if the package cannot be found. python3 -m venv env env/bin/python -m pip install --upgrade pip setuptools wheel source env/bin/activate

Para Python 2.7:

sudo apt-get update sudo apt-get install python-dev python-virtualenv virtualenv env --no-site-packages env/bin/python -m pip install --upgrade pip setuptools wheel source env/bin/activate

Obtener el paquete

El paquete de Google Assistant SDK contiene todo el código necesario para obtener al asistente de Google corriendo en el dispositivo, incluyendo el código de ejemplo.

Instalar dependencias del sistema del paquete:

sudo apt-get install portaudio19-dev libffi-dev libssl-dev libmpg123-dev

Utilice para instalar la última versión del paquete Python en el entorno virtual: pip

python -m pip install --upgrade google-assistant-library==1.0.0

python -m pip install --upgrade google-assistant-sdk[samples]==0.5.1

Generar credenciales

1. Instalar o actualizar la herramienta de autorización: python -m pip install –upgrade google-auth-oauthlib[tool]
2. Generar credenciales para poder ejecutar el código de ejemplo y herramientas. Referencia el archivo JSON que descargó en un anterior paso; puede que necesite copiar el dispositivo. No cambiar el nombre de este archivo. google-oauthlib-tool –scope https://www.googleapis.com/auth/assistant-sdk-prototype \ –scope https://www.googleapis.com/auth/gcm \ –save –headless –client-secrets /path/to/client_secret_client-id.json Debería ver una dirección URL que aparece en el terminal: Please visit this URL to authorize this application: https://…
3. Copia el URL y pegarlo en un navegador (esto se puede hacer en cualquier máquina). La página le pedirá que inicie sesión en su cuenta Google. Ingrese a la cuenta de Google que creó el proyecto de desarrollo en el anterior paso. Nota: Para usar otras cuentas, primero Agregar esas cuentas a tu consola de acciones proyecto como los propietarios de.
4. Después de que usted apruebe la solicitud de autorización de la API, aparecerá un código en su navegador, tales como «4/XXXX». Copie y pegue este código en el terminal: Enter the authorization code: Si la autorización tuvo éxito, usted verá una respuesta similar al siguiente: credentials saved: /path/to/.config/google-oauthlib-tool/credentials.json Si en cambio ves, ha introducido un código incorrecto. Intentarlo de nuevo, teniendo cuidado de copiar y pegar todo el código.InvalidGrantError Nota: La herramienta de autorización crea un nuevo archivo de credentials.json en un directorio oculto .config en el dispositivo. Este archivo contiene un token de acceso que se utiliza para llamar a la API de ayudante de Google.

Ejecutar el código de ejemplo

En este punto, usted está listo para ejecutar el ejemplo y hacer una consulta.

En el siguiente comando:

• Reemplace con el ID de proyecto de plataforma de la nube de Google para el proyecto de acciones de consola que creó. Para encontrar el ID de proyecto en la Consola de acciones, seleccione el proyecto, haga clic en el icono de engranaje y seleccione ajustes del proyecto.my-dev-project
• Reemplace con el nombre del modelo creado en el anterior paso.my-model

googlesamples-assistant-hotword --project-id my-dev-project --device-model-id my-model

Decir Google Ok o Hey Google, seguido de tu consulta. Usted puede intentar algunos de los siguientes:

• ¿quién soy?
• Escuchar podcast de este estilo de vida americano.
• ¿Qué es el tiempo en San Francisco?

Si el asistente no responde, siga las instrucciones de solución de problemas.

Para cambiar el idioma para el Asistente de Google o para permitir resultados personales, utilice el Asistente de Google app.

Si usted tiene un dispositivo de fundido en la misma red y configurado con la misma cuenta de usuario, usted puede controlar de forma remota:

• Google ok, jugar Spotify en el altavoz de la cocina.

Para transmitir un mensaje de voz, asegúrese de primero establecer la ubicación del dispositivo en el Asistente de Google app. Entonces haga lo siguiente:

• Google ok, difusión de venir a cenar.

Encontrar el ID de instancia de dispositivo

Al ejecutar la muestra la primera vez, se generará una instancia de dispositivo para su dispositivo en particular. Esta instancia de dispositivo se asocia con el modelo de dispositivo que especificó para ejecutar el ejemplo. También puede crear la instancia mediante la herramienta de registro.

La muestra guarda el identificador de instancia de dispositivo. Si ejecuta la muestra con el mismo identificador de modelo, su valor por defecto usando el identificador de instancia de dispositivo guardado.

Encontrar el ID de instancia de dispositivo en la consola para la muestra.

device_model_id: my-modeldevice_id: 1C3E1558B0023E49F71CA0D241DA03CF # Device instance IDRegistering...Done.ON_MUTED_CHANGED:  {'is_muted': False}ON_START_FINISHED...

Pasos a seguir

Una vez que el Asistente de Google en su proyecto, probar estos:

1. Personalizar cómo su proyecto interactúa con el asistente. Por ejemplo, activar al asistente con el empuje de un botón o parpadear un LED cuando se reproduce audio. Incluso puede mostrar una transcripción de reconocimiento de voz desde el asistente en pantalla.
2. Control de su proyecto con las acciones del dispositivo. Por ejemplo, pedir su lámpara con el built-in ayudante, encender y cambiar su brillo.

Personalizar cómo su proyecto interactúa con el asistente

Activar el asistente

Con la biblioteca auxiliar de Google, activarás una solicitud de asistente hablando un hotword como Google Ok. Puede silenciar el micrófono para detener al asistente de la escucha para el hotword. Utilice el set_mic_mute() para controlar esto. Desencadenar el método start_conversation() basado en su propio evento personalizado.

Obtener la transcripción de la solicitud del usuario

El SDK de Google ayudante le da una transcripción del texto de la solicitud del usuario. Utilizar esto para proporcionar feedback al usuario al representar el texto a la pantalla, o incluso para algo más creativo como realizar algunas acciones locales en el dispositivo.

La transcripción se encuentra en un objeto de cadena de Python en el evento ON_RECOGNIZING_SPEECH_FINISHED .

Su proyecto con acciones de dispositivo de control

Puede Agregar acciones de dispositivo para el asistente que le permite controlar su dispositivo a través de voz. Extender la muestra de asistente de biblioteca de Google para incluir Acciones de dispositivo.

Fuente https://developers.google.com/assistant/sdk/guides/library/python/embed/setup