Een Large Language Model (LLM) is een geavanceerd type kunstmatige intelligentie (AI). Het staat bekend om zijn vermogen om complexe taken met betrekking tot taal uit te voeren, zoals tekstgeneratie, tekstclassificatie, vraag- en antwoordsystemen en vertalingen tussen talen. Dit geavanceerde taalmodel kan taal op een menselijke manier begrijpen en genereren dankzij zijn gigantische aantal aanpasbare parameters.
Sinds enige tijd is het mogelijk om AI te gebruiken in Home Assistant Assist echter zonder de mogelijkheid om hiermee ook Home Assistant te bedienen. Dat kon alleen met de spraakassistenten zonder AI. Sinds versie 2024.6 is dit echter wel mogelijk en kunnen de AI agents met LLM ook voor Home Assistant bediening gebruikt worden!
Home Assistant biedt momenteel twee cloud LLM-providers met verschillende modelopties: Google en OpenAI. Ik heb goede ervaring met de Google AI dus die ga ik gebruiken.
Het installeren van Google AI dient vooraf gegaan te worden door het aanmaken van een API-key op de Google AI Studio site. Hier kun je een prijs-plan kiezen, Free of Paid.
Hierna kan de integratie ‘Google Generative AI‘ geïnstalleerd worden waarbij de API key ingevoerd dient te worden.
Gebruik de standaard instellingen via Configureren in deze integratie, bijvoorbeeld:
Een spraakassistent dient ingesteld te worden om deze Google AI te kunnen gebruiken in Assist. Zie de uitleg in deze pagina: Home Assistant Assist
Zonder de spraakassistent kan wel met behulp van de Google AI content gegenereerd worden, bijvoorbeeld:
Deurbel-camera snapshot analyse
Om de kracht van de Google AI te laten zien, laat ik een snapshot van de deurbel-camera analyseren en vraag aan Google AI wat er te zien is op deze foto:
De foto staat in de directory /media op de Home Assistant server en het analyseren kan met een service genaamd ‘Google Generative AI: Generate content‘. De service wordt aangeroepen vanaf Ontwikkelhulpmiddelen -> Acties
Als nu ‘Actie Uitvoeren‘ wordt gekozen zal het resultaat verschijnen:
Dit zou je dan ook in een automatisering kunnen doen en deze triggeren op het moment dat er aangebeld wordt en het antwoord dan laten sturen naar je mobile. Bijvoorbeeld:
