Apple entwickelt Onscreen-Awareness-Funktionen für Siri
Was ist neu in iOS 18.2 Beta 2: Funktionen und Siri-Verbesserungen
Die Einführung von iOS 18.2 Beta 2 begann am Montag für Entwickler und führte eine Reihe spannender Funktionen ein, die das Benutzererlebnis verbessern sollen. Dieses Update enthält unter anderem die Integration von ChatGPT in die App „Einstellungen“, eine neue Option „Bild erstellen“ in Notizen, eine verbesserte „Wo ist?“-Funktion und aktualisierte Benachrichtigungssymbole in der Mail-App. Eine stabile Version dieses Updates wird voraussichtlich nächsten Monat verfügbar sein.
Siris neue kontextbezogene Funktionen
Neben dem erweiterten Funktionsumfang ebnet die Betaversion von iOS 18.2 den Weg für bedeutende Verbesserungen der Siri-Funktionalität. Apple entwickelt derzeit als Teil seiner Apple Intelligence Suite eine anspruchsvolle Funktion, die Siris Kontextbewusstsein verbessert. Den Entwicklern wurden neue APIs zur Verfügung gestellt, die es Siri ermöglichen, aus ihren Anwendungen auf Bildschirminhalte zuzugreifen.
Wie Siri mit Bildschirminhalten interagieren kann
Laut Apples Dokumentation können Siri und Apple Intelligence solche Inhalte abrufen und entsprechende Antworten liefern, wenn Benutzer nach Bildschirminhalten fragen oder eine entsprechende Aktion ausführen möchten. Wenn ein Benutzer beispielsweise ein Dokument anzeigt, kann er einfach fragen: „Hey Siri, worum geht es in diesem Dokument?“ und erhält eine ausführliche Zusammenfassung.
ChatGPT mit Siri integrieren
Das laufende Beta-Update für iOS 18.2 bietet außerdem eine verbesserte Integration von ChatGPT mit Siri, sodass Benutzer verschiedene Formate wie Bilder, Videos, PDFs und Präsentationen abfragen können. Wenn Sie Siri beispielsweise fragen: „Worum geht es in diesem Dokument?“, kann Siri die Informationen über einen Screenshot erfassen, an ChatGPT weitergeben und dem Benutzer die erforderlichen Details bereitstellen.
Unterscheidungsmerkmale: ChatGPT vs. Onscreen Awareness
Wie MacRumors jedoch hervorhebt , ist es wichtig zu beachten, dass die Integration mit ChatGPT nicht den vollständigen Onscreen-Awareness-Funktionen entspricht, die in der Dokumentation von Apple beschrieben werden. Diese Funktion ist so konzipiert, dass Siri sichtbare Inhalte auf dem Bildschirm umfassend verarbeiten, analysieren und mit ihnen interagieren kann. Beispielsweise kann ein Benutzer, der eine SMS mit einer Telefonnummer erhält, Siri bitten, diese Nummer direkt zu seinen Kontakten hinzuzufügen.
Verfügbarkeit und Zukunftsaussichten
Interessanterweise ist die erweiterte Bildschirmerkennungsfunktion in der aktuellen Beta 2 von iOS 18.2 noch nicht enthalten. Derzeit ist ChatGPT auf den Zugriff auf Screenshots beschränkt, was darauf hindeutet, dass mit zukünftigen Updates, möglicherweise aber erst im nächsten Jahr, ein besser integriertes Siri-Erlebnis möglich ist.
Weitere Einblicke und Bilder finden Sie hier in der Originalquelle .
Schreibe einen Kommentar