Guided Vision in Gemini Live: die Kamera sagt, wohin Sie schwenken

Ich stehe morgens vor der Waschmaschine. Müde. Ein Drehregler, zwölf Symbole, eine Skala in Schriftgröße „Ameisenbeine“. Welches Programm war nochmal das für die Wolle? Genau. Keine Ahnung.

Und jetzt die Frage an Sie: Tippen Sie morgens die Kamera auf genau dieses Ding und fragen nach? Oder merken Sie erst im Supermarkt, beim Feindruck auf einer Verpackung, dass Guided Vision längst in Gemini Live steckt?

Moment mal. Guided Vision? Genau darum geht es hier.

Google hat am 1. Oktober im eigenen Blog vorgestellt, dass Guided Vision in Gemini Live startet, und zwar auf kompatiblen Android-Geräten. Die Autorin des Beitrags ist Isha Sheth, Senior Product Manager für Gemini Live. Das Ganze ist eine Funktion, bei der die Stimme an erster Stelle steht. Die visuelle Interpretation passiert in Echtzeit. Gedacht ist sie für blinde Menschen, für Menschen mit Sehbehinderung und für alle, die eine intuitive visuelle Assistenz wollen.

Ich finde, das klingt erst mal nach einem Satz aus einer Pressemitteilung. Deshalb mache ich es anders. Ich lasse den Alltag entscheiden. Also nicht: Was steht im Prospekt? Sondern: Was passiert, wenn Sie die Kamera wirklich auf die Dinge richten, die da herumstehen?

Eine Sache vorab, und ich meine sie ernst. Alles, was ich über Zahlen, Training und Sicherheit schreibe, sind Angaben von Google. Keine eigene Messung. Keine Rangliste. Kein Vergleich mit irgendwem. Ich erzähle Ihnen, was Google sagt, und ich sage Ihnen, wie ich es einordne. Fertig.

Was macht die Kamera in Gemini Live bei Guided Vision?

Starten wir bei der Grundidee. Sie öffnen eine Gemini-Live-Sitzung. Sie teilen Ihre Kamera. Und dann hören Sie zu.

Gemini beschreibt Ihnen die Umgebung. Klar und in gesprochener Sprache. Sie können nachfragen, auch detailliert. Zum Beispiel: Was steht links daneben? Ist das Etikett lesbar? Und Gemini meldet sich von sich aus mit Hinweisen, damit das, was Sie finden wollen, mittig im Bild landet. Google nennt das proaktive gesprochene Hinweise.

Das ist der Kern. Die Kamera schaut, die Stimme erzählt.

Klingt simpel? Ist es im besten Fall auch. Aber Hand aufs Herz: Wer schon mal versucht hat, mit dem Handy ein Foto von etwas zu machen, das man selbst nicht sieht, weiß, wie fummelig das ist. Zu nah. Zu hoch. Zu schief. Das Bild ist unscharf, und man merkt es nicht einmal.

Genau da setzt Guided Vision an. Nicht beim Beschreiben allein, sondern bei der Frage, wie die Kamera überhaupt richtig hingehalten wird.

Wer sich für das Thema Kamera und Barrierefreiheit auf dem Smartphone interessiert, findet bei uns auch einen Blick darauf, wie Gebärdensprache auf dem Pixel in Text umgewandelt wird. Das ist ein anderes Feature mit einem anderen Ziel. Es hat mit Guided Vision nichts zu tun, außer dass beide zeigen, wie viel eine Smartphone-Kamera für Zugänglichkeit tun kann.

Zu hoch, zu nah, zu schief: Wie Gemini Live beim Ausrichten der Vision hilft

Jetzt wird es konkret. Und für mich ist das der interessanteste Teil.

Google beschreibt es so: Wenn die Kamera zu hoch zeigt, zu nah dran ist oder leicht seitlich danebenliegt, gibt Gemini natürliche verbale Hinweise. Drei Beispiele nennt der Blog. Langsam nach rechts schwenken. Nach unten neigen. Zurücktreten. Im Original heißt es „pan slowly to the right“, „tilt downward“ und „step back“.

Mehr nicht. Ich erfinde hier keine weiteren Gesten dazu, denn Google nennt sie nicht.

Stellen Sie sich das mal praktisch vor. Sie halten das Handy vor eine Packung Haferflocken. Die Kamera sieht nur den oberen Rand. Gemini sagt: Neigen Sie das Handy langsam nach unten. Sie neigen. Jetzt ist die Rückseite im Bild, aber viel zu nah. Also: Treten Sie einen Schritt zurück.

Okay, das ist ein Gedankenspiel von mir, keine Messung. Aber es zeigt die Logik. Die Hinweise sind wie eine Person neben Ihnen, die ruhig sagt: Ein bisschen höher. Ein bisschen weiter weg.

Warum ist das so wichtig? Weil die beste Beschreibung nichts nützt, wenn das Bild nichts zeigt. Wer sehen kann, korrigiert den Bildausschnitt ständig und unbewusst. Wer das nicht kann, braucht dafür jemanden. Oder etwas.

Ich finde, das ist die eigentliche Idee hinter dem Ganzen. Nicht die Beschreibung ist das Neue, die gab es schon. Neu ist, dass die Kamera ihre eigene Ausrichtung erklärt bekommt.

Und jetzt kommt ein Punkt, bei dem ich ehrlich gesagt kurz stutzig wurde. Sie müssen nicht vorher wissen, wo genau das Ding steht. Sie sagen, was Sie suchen, und bekommen Schritt für Schritt Hinweise. Zumindest laut Google. Wie gut das bei Ihnen zu Hause klappt, hängt von Licht, Gerät und Situation ab. Das kann ich Ihnen nicht abnehmen.

Ebenfalls wichtig: Gemini Live ist ein Gespräch. Sie unterbrechen, fragen nach, bitten um eine kürzere Antwort. Das passt zu einem Werkzeug, das die Stimme an die erste Stelle setzt.

Dazu gibt es noch einen Hinweis, den ich gern wiederhole. Es gibt inzwischen mehrere Kamera-Assistenten, die per Blick oder Sprache helfen wollen. Einen Überblick, wie das bei Apple aussieht, haben wir in unserem Beitrag zum Siri-AI-Kamera-Modus gesammelt. Das ist ein anderes Produkt. Setzen Sie es bitte nicht mit Guided Vision gleich.

Gemini Live im Alltag: Feindruck, Ohrstöpsel, gestreifte Hemden

Kommen wir zu den Szenen. Google nennt in seinem Blog eine Handvoll Beispiele. Ich bleibe bei genau diesen und erfinde keine dazu.

Feindruck und komplexer Text

Die kleinen Nährwertangaben auf Lebensmittelverpackungen. Kennen Sie. Grau auf Silber, Schrift wie Staub. Dann Skalen, zum Beispiel an Geräten, und eben Waschmaschinenprogramme. Und gedruckte Speisekarten in schummrigem Restaurantlicht.

Mal ehrlich: Letzteres kennt fast jeder. Kerzenlicht ist romantisch, aber zum Lesen furchtbar.

Hier soll die Kamera helfen, indem Gemini vorliest und erklärt. Und Sie können nachfragen. Steht da Zucker drin? Welches Programm ist das für 40 Grad? Gibt es auf der Karte etwas ohne Fleisch? So stelle ich mir das vor. Ob die Antworten stimmen, müssen Sie im Zweifel prüfen. Dazu komme ich im Abschnitt über die Grenzen noch.

Dinge finden

Zwei Beispiele aus dem Blog: ein heruntergefallener Ohrstöpsel auf dem Boden und schwarzer Pfeffer in einem vollen Gewürzschrank.

Jep. Beides Klassiker. Der Ohrstöpsel rollt immer genau dahin, wo man nicht hinkommt. Und der Pfeffer steht natürlich hinter dem Paprika, der hinter dem Oregano steht.

Hier kann die Kamera durchs Regal wandern, und Gemini sagt Ihnen, was zu sehen ist. Ich stelle mir vor, dass die Hinweise zum Schwenken genau dann Gold wert sind (kein Witz), wenn man eine Reihe von Gläsern absucht. Das ist aber meine Vorstellung, keine Aussage von Google.

Wer im Android-Alltag Dinge wiederfinden will, die verloren gegangen sind, sollte sich übrigens ansehen, wie Find Hub beim Wiederfinden hilft. Das ist ein ganz anderes Produkt. Es schaut nicht mit der Kamera, und es ist nicht Guided Vision.

Farben, Muster, Formen

Passt ein gestreiftes Hemd zu dieser Hose? Welche Farbe hat die Jacke? Das sind die Beispiele von Google.

Klingt nach Kleinkram. Ist es aber nicht. Morgens vor dem Schrank entscheidet sich, ob man sich wohlfühlt. Wer Farben und Muster nicht selbst prüfen kann, fragt sonst jemanden oder lässt es. Eine Stimme, die kurz Auskunft gibt, ist da ziemlich praktisch.

Ich sage bewusst nicht, dass Gemini Geschmack hat. Es beschreibt, was es sieht. Ob das Outfit Ihnen gefällt, bleibt Ihre Sache.

Überblick über den Raum

Unvertraute Räume. Die Raumaufteilung. Gegenstände auf einem Tisch. So steht es im Blog.

Stellen Sie sich ein Ferienhaus vor, das Sie zum ersten Mal betreten. Oder einen Konferenztisch voller Unterlagen, Becher und Kabel. Gemini kann beschreiben, was dort liegt und wie es angeordnet ist.

Und genau hier bitte keine Verwechslung. Raumüberblick heißt: Was steht auf dem Tisch? Es heißt nicht: Wo laufe ich lang, ohne irgendwo anzustoßen? Dazu später mehr, denn der Disclaimer ist hart.

Gespräche in der eigenen Sprache

Google schreibt, dass Gespräche in der bevorzugten Sprache möglich sind, auch mehrsprachig. Die Firma nennt Tests und Feedback aus Blind- und Sehbehinderten-Communities in Indien, Brasilien, Singapur, Indonesien, Japan und weiteren Orten. Das Ziel: Beschreibungen, Reframing-Hinweise und Antworten sollen natürlich klingen.

Das ist eine Angabe von Google. Keine Studie von uns, keine unabhängige Prüfung. Aber ich finde es erwähnenswert, weil „natürlich klingen“ bei Sprachassistenten eben kein Selbstläufer ist. Wer schon mal einer steifen Vorlesestimme zugehört hat, weiß, was ich meine.

Wer sonst noch profitieren kann

Google ordnet das Ganze auch für andere Gruppen ein: ältere Menschen, Menschen mit geringer Lesekompetenz und alle, die Feindruck bei schlechtem Licht lesen wollen. Das ist ausdrücklich Googles Einordnung, nicht unsere.

Meiner Einschätzung nach ist das plausibel. Wer Verpackungen im Dämmerlicht entziffern will, braucht keine Diagnose. Nur eine Hilfe, die vorliest.

Wie sich Gemini auf Android im Alltag insgesamt anfühlt, haben wir uns separat angesehen. Wer wissen will, ob damit Gemini auf Android die Apps im Alltag ersetzt, findet dort eine ganz andere Perspektive als hier.

Use Guided Vision in Live: So schalten Sie es ein

Dieses Bild wurde komplett mit KI generiertProviderhiggsfieldModellgpt_image_2PromptPhotorealistic close photo of a smartphone camera lens beside a plain household object on a wooden counter, soft daylight, no logos, no readable text, no watermarks, no screen UI, 16:9

Okay. Praxis. Wie kommen Sie da überhaupt hin?

Der Google-Blog nennt drei Einstiege. Ich lasse die englischen Menünamen so, wie Google sie schreibt, damit Sie sie auf dem Handy wiederfinden.

Einstieg eins führt über die Gemini-App. Öffnen Sie dort die Profil-Einstellungen. Schalten Sie die Option „Use Guided Vision in Live“ ein. Danach öffnen Sie Gemini Live und tippen, um die Kamera zu teilen. Das war es schon.

Einstieg zwei ist der Accessibility-Shortcut. Gehen Sie in die Android-Einstellungen, dort zu Bedienungshilfen, dann zu „Vision assistance“ und weiter zu „Guided Vision“. Die deutsche Umschreibung daneben ist okay, aber der Menüname bleibt, wie er ist.

Den Start können Sie dann auf drei Arten auslösen. Über die schwebende Bedienungshilfe-Schaltfläche. Über einen Zwei-Finger-Wisch. Oder indem Sie beide Lautstärketasten drücken.

Einstieg drei ist für alle, die TalkBack nutzen. Dann öffnen Sie das TalkBack-Menü mit einem Drei-Finger-Tipp und wählen Guided Vision aus.

Mehr Einstiege nennt Google nicht, also nenne ich auch keine.

Was Ihr Handy dafür braucht

Guided Vision ist laut Google auf Android-Geräten ab Android 9 verfügbar. Und zwar in den Regionen und Sprachen, in denen Gemini Live unterstützt wird. Eine Länderliste gebe ich nicht an, denn ich habe keine belastbare. Schauen Sie bei Ihrem Gerät nach.

Außerdem sollten die Gemini-App und das Android-System auf dem aktuellen Stand sein. Klingt banal. Bei mir war das schon oft der Grund, warum eine Funktion „nicht da“ war, obwohl sie angekündigt wurde. Ich finde, das ist der Knackpunkt bei jeder neuen Funktion: Erst Updates, dann Ärger.

Mein Tipp, ganz praktisch: Probieren Sie es zuerst bei Tageslicht an etwas Harmlosem. Eine Müslipackung. Ein Buch. Die Waschmaschine, ja wirklich. Dann wissen Sie, wie sich die Hinweise anfühlen, bevor Sie sich im Restaurant darauf verlassen.

Und noch ein Alltagstest, der mir sinnvoll erscheint: Vergleichen Sie zwei Situationen. Erst die Waschmaschinenprogramme zu Hause, mit gutem Licht und Ruhe. Dann den Feindruck im Supermarkt, mit Gedränge und Neonlicht (das ist selten freundlich). Fragen Sie nach, wenn eine Antwort zu knapp ausfällt. Bitten Sie um eine Wiederholung. So merken Sie schnell, wo die Hilfe trägt und wo nicht. Das ist mein Vorschlag, keine Vorgabe von Google.

Rechnen Sie dabei mit Fehlern. Wie andere generative KI kann auch Guided Vision danebenliegen (das sagt Google selbst). Ein Etikett wird falsch gelesen, ein Programm falsch zugeordnet. Das ist kein Drama, solange Sie es wissen. Bei Dingen, die zählen, fragen Sie ein zweites Mal oder lassen Sie gegenprüfen. Und denken Sie daran: Das Ganze ersetzt weder Navigation noch Mobilitätshilfe. Dazu gleich mehr.

Aira, zehntausende Stunden, mehr als 1.000 Tester: Was Google sagt

Jetzt zum Teil, bei dem ich besonders genau sein muss. Denn hier stehen Zahlen im Raum, und die gehören Google, nicht mir.

Laut Google-Blog gibt es eine Partnerschaft mit Aira. Dabei geht es um visuelle Interpretation von Daten über insgesamt zehntausende Stunden. Ich übersetze das nicht in eine konkrete Zahl, denn der Blog tut es auch nicht.

Außerdem schreibt Google, dass mehr als 1.000 Mitglieder von Airas Trusted-Tester-Netzwerk das Modell im Alltag gestresst und verfeinert haben. „Mehr als 1.000“. Nicht 1.000, nicht 1.100. Genau so steht es da.

Und: Aira-Fachleute hätten direkt mit den Google-Teams gearbeitet, und zwar als Fachleute, um Sicherheitsleitplanken aufzustellen und zu prüfen.

Das sind Google-Angaben. Ich kann sie weder bestätigen noch widerlegen.

Wer ist Aira?

Ein Blick auf die Website von Aira hilft, die Firma einzuordnen. Aira beschreibt sich dort als Anbieter von Video-Ferninterpretation. Über die App Aira Explorer verbindet das Unternehmen blinde und sehbehinderte Menschen mit professionell visuell Dolmetschenden. Visuelles Dolmetschen gibt Informationen sprachlich weiter.

Das ist der belegte Satz von der Aira-Seite, und mehr entnehme ich dieser Seite nicht. Die Trainingsstunden und die Trusted Tester stehen nur im Google-Blog. Nicht bei Aira. Ich behaupte also nicht, dass Aira diese Zahlen bestätigt.

Die Community

Google schreibt weiter, Guided Vision sei in enger Zusammenarbeit mit der Blind- und Sehbehinderten-Community entwickelt worden. Früher im selben Monat wurde die Funktion als Vorschau gezeigt, gemeinsam mit anderen Werkzeugen für digitale und physische Barrierefreiheit auf Android. Welche das waren, steht in meiner Quelle nicht, also lasse ich es offen.

Ehrlich gesagt ist das der Punkt, den ich bei solchen Funktionen am wichtigsten finde. Nicht ob die Pressebilder schön sind, sondern ob Betroffene früh mitreden durften. Ob das hier im Detail gelungen ist, kann ich nicht beurteilen. Dass Google es betont, ist immerhin ein Anfang.

Wir bei digital-magazin.de halten es bei solchen Themen so: Herstellerangaben nennen wir Herstellerangaben. Und wir sagen, wenn wir etwas nicht selbst nachgemessen haben. Das gilt auch hier.

Gemini Live und die Vision-Grenzen: Wofür Guided Vision nicht gedacht ist

Jetzt wird es ernst. Kein Weichzeichner.

Wie andere generative KI kann Guided Vision Fehler machen. Punkt.

Es ist kein Medizinprodukt. Es ist keine Mobilitätshilfe. Und es ist kein Ersatz für den Blindenstock.

Google sagt deutlich, dass Guided Vision nicht für Navigation gedacht ist. Nicht für sichere Wegführung. Nicht für Hinderniserkennung. Nutzende sollen weiter auf etablierte Mobilitätshilfen und sichere Fortbewegung setzen.

Ich wiederhole das mit Absicht. Weil es der Satz ist, der in der Begeisterung gern untergeht.

Also noch einmal ganz klar: Wer die Waschmaschine filmt und eine Routenführung erwartet, hat das Produkt falsch gelesen. Wer den Raumüberblick mit einem Wegweiser verwechselt, hat es ebenfalls falsch gelesen. „Gegenstände auf einem Tisch“ ist etwas anderes als „Ist der Weg frei?“.

Was das im Alltag bedeutet

Prüfen Sie wichtige Informationen. Bei Nährwerten, bei Allergenen, bei allem, was gesundheitlich zählt. Eine KI, die Fehler machen kann, ist eine Hilfe, aber keine letzte Instanz.

Und seien Sie vorsichtig bei allem, was mit Bewegung zu tun hat. Treppen, Straßen, Bahnsteige. Dafür ist die Funktion nicht gebaut, und Google sagt das selbst.

Mal ehrlich: Ein Werkzeug, das seine Grenzen so klar benennt, ist mir sympathischer als eines, das alles verspricht. Ich finde die harte Ansage richtig. Sie schützt vor dem Moment, in dem jemand sich zu sehr verlässt.

Wir bei digital-magazin.de schreiben deshalb lieber einmal zu oft, wofür etwas nicht taugt. Das ist unbequem. Aber es ist ehrlich.

Was bleibt? Eine Frage an Ihren Alltag

Zurück in die Küche. Zurück zur Waschmaschine.

Was wäre, wenn Sie morgen früh die Kamera auf den Drehregler halten, kurz zuhören und das richtige Programm wählen? Ein Schwenk nach rechts, ein Schritt zurück, fertig. Das ist die kleine, ehrliche Version von Guided Vision.

Oder Sie erleben es ganz anders. Im Supermarkt, mit einer Packung in der Hand, deren Schrift sich vor Ihren Augen versteckt. Dann merken Sie plötzlich: Moment mal, die Hilfe steckt schon in Live.

Beides ist ein guter Test. Denn die Frage ist nicht, wie viele Stunden Google trainiert hat oder wie viele Tester mitgemacht haben. Die Frage ist: Hilft es Ihnen, an einem normalen Dienstag, mit Ihrem Licht, Ihrem Gerät, Ihrer Sprache?

Der Punkt ist: Guided Vision ist ein Werkzeug für Lesen, Finden und Beschreiben. Kein Navi. Kein Stockersatz. Kein Arzt.

Wenn Sie es ausprobieren, schalten Sie „Use Guided Vision in Live“ ein, öffnen Gemini Live und teilen die Kamera. Starten Sie klein. Seien Sie neugierig. Und bleiben Sie skeptisch, wo es um Wichtiges geht.

Mich interessiert, was Sie berichten. Zu Hause, im Restaurant, vor dem Gewürzschrank. Der Alltag entscheidet, nicht die Ankündigung.

Die Quelle für alles, was ich hier als Googles Angaben gekennzeichnet habe, ist der Beitrag im Google-Blog. Lesen Sie ihn selbst, wenn Sie es genau wissen wollen. Das ist immer die beste Übung.