Ein fünfköpfiges Team hat bei einem Hackathon in San Francisco einen Open-Source-Ansatz für Metas KI-gestützte Ray-Bans entwickelt.
Was letztes Wochenende als 36-stündiges Hackathon-Projekt begann, könnte der Open-Source-Community die Möglichkeit geben, die Smart-Glasses-Branche auf den Kopf zu stellen. Fünf Teammitglieder bauten eine 20-Dollar-Smart-Glasse mit dem Namen Open Glass, die das, was Sie sehen und hören, mit einem KI-Chatbot wie beispielsweise Metas Llama 3 verbindet.
Scott Fitsimones machte sich am Samstagmorgen auf den Weg in die Innenstadt von San Francisco, um Nik Shevchenko zu treffen. Er wusste nicht, dass er die nächsten 36 Stunden bei einem KI-Hackathon verbringen und gemeinsam mit ihm ein neues Gerät bauen würde. Zu diesem Zeitpunkt dachte Fitsimones, er würde einen KI-Anhänger von Shevchenko abholen, den er als einen der Anführer der wachsenden KI-Wearable-Bewegung in San Francisco bezeichnet. Am Ende des Wochenendes gewann ihr Team den Hackathon und hatte ungefähr 1.500 Personen auf einer Warteliste um ihre Open-Source-Smart-Glasses vorzubestellen.
„Ich hatte keine Ahnung von diesem Hackathon, und es war einfach ein glücklicher Zufall“, sagte Fitsimones. „Und dann, wissen Sie, ich glaube, wir haben einfach angefangen, zu jammen und auf dem ersten Prototyp aufzubauen.“
Shevchenko seinerseits ging laut seinen Teamkollegen mit dem Wissen in den Hackathon, dass er das Hardwareelement für eine Art intelligente Brille bauen wollte (Shevchenko antwortete nicht auf Gizmodos Interviewanfrage). Zu ihm gesellte sich Stepnan Korshakov, der die schwierigsten Software-Herausforderungen des Projekts löste. Diese beiden schlossen sich Fitsimones, Shreeganesh Ramanan und Jatin Gupta an, um ein Gewinnerteam zu bilden.
In einem großen, luftigen Raum mit Blick auf das blaue Wasser und die grünen Berge der Bay Area programmierten Softwareentwickler auf weichen Sofas, neben ihnen Stapel von La Croix. Cerebral Valley veranstaltet häufig Hackathons wie diesen und bringt die florierende KI-Startup-Szene von San Francisco zusammen. Shevchenko war einer der wenigen, die einen Lötkolben statt eines Laptops verwendeten, während der Rest des Teams an der Software arbeitete. Irgendwann am späten Samstag verließ Shevchenko die Veranstaltung, um das Open Glass-Computergehäuse im 3D-Drucker herzustellen.
Nach rund 36 Stunden Hacken präsentierten Shevchenko und das Team stolz eine billige Sonnenbrille, aus deren rechter Seite ein schwarzer Kasten herausragte. Die Brille war mit einer Kamera ausgestattet, die alle fünf Sekunden ein Bild aufnahm, und einem Mikrofon, das ständig Audiodaten aufzeichnete. Dadurch wurde eine Datenbank mit Fotos und Texten gesammelt, die das widerspiegelt, was Ihre Augen und Ohren aufnehmen. Wenn Sie einen Knopf an der Seite der Brille drücken, können Sie Metas Chatbot Llama 3 bitten, Fragen zu Ihrem eigenen Leben zu beantworten.
„Wie hieß die Person?“, „Wo habe ich meine Schlüssel gelassen?“ und „Wie viele Kalorien haben diese Früchte?“ waren einige der Fragen, die die KI während der Demo beantwortete. Die Technologie hat für viele Menschen nützliche Anwendungsmöglichkeiten, könnte aber besonders gut dazu geeignet sein, Menschen mit Seh- oder Hörschwäche zu helfen.
Shevchenkos Team gewann den ersten Preis beim Hackathon, obwohl während der Demo ein Fehler bei der Sprach-zu-Text-Funktion der Brille auftrat. Sie erhielten Anerkennung von den Führungskräften von Meta $META und Groq sowie von Hugging-Face-CEO Clem Delangue, der die endgültigen Projekte beurteilte. Innerhalb weniger Stunden kam Shevchenkos Unternehmergeist auf Hochtouren und er erstellte eine Warteliste, um eine Version des Prototyps vorbestellen zu können.
„Woah woah woah woah, es sind 1.300“, sagte Korshakov am Montag am Telefon mit mir, als er erfuhr, wie viele Vorbestellungen er eingegangen waren. „Menschen auf der ganzen Welt wollen damit Dinge bauen. Jetzt haben sie eine Möglichkeit, selbst zum Erfolg dieses Projekts zu besitzen und selbst dazu beizutragen.“
Zwar gibt es heute schon andere Smart Glasses auf dem Markt – etwa Meta Ray-Bans –, doch diese sind weder Open Source noch so günstig. Open Glass bietet ein relativ kostengünstiges Kit, mit dem Entwickler auswählen können, welche LLMs sie verwenden möchten, und entscheiden können, was die Brille leisten soll. Beispielsweise muss nicht jede Open Glass Bilder aufnehmen oder ständig Audiodaten aufzeichnen. Dies bietet eine kostengünstige, hackbare Option für Smart Glasses, einen Formfaktor, der bisher extrem teuer und in seinen Möglichkeiten einschränkend war.
„Sie können es in OpenAI einbinden, Sie können es in Gemini einbinden“, sagte Ramanan in einem Telefoninterview. „Es geht vor allem darum, die Möglichkeit zu haben, die besten Optionen zu kombinieren und dann eigene interessante Anwendungen und Frameworks zu erstellen.“
Smart Glasses haben sich noch nicht so schnell durchgesetzt wie andere Wearables. Die Weiterentwicklung multimodaler KI-Modelle macht dies jedoch zu einer spannenden Zeit für Smart Glasses. Man kann sich leicht vorstellen, wie die neue GPT-4 Omni von OpenAI, die Video, Audio und Text gleichzeitig verarbeiten kann, in Brillen wie diesen verwendet werden könnte. Google $GOOGL hat am Dienstag in einer Demo seiner neuesten KI sogar einen Prototyp der neuen Google Glasses vorgestellt. Open Glass hofft, dass der Zugriff auf diese Technologie für die Open-Source-Community mehr Innovationen in diesem Bereich ermöglichen wird.
Ein Problem bei Smart Glasses sind Datenschutzbedenken. Die Ray-Bans von Meta zeichnen nicht ständig Audio- und Videodaten auf, um Ihr Leben wie eine Datenbank zu nutzen, und das ist wahrscheinlich auch gut so. Doch im Silicon Valley gibt es eine wachsende Community von KI-Gadget-Fans, die sich für die Idee interessieren, ihr Leben ständig aufzuzeichnen, um den ultimativen persönlichen Assistenten zu erschaffen. In San Francisco tauchen derzeit Ringe, Anhänger und jetzt auch Brillen von Startups auf, die alle von diesem Potenzial fasziniert sind.
Durch die Bereitstellung der Technologie als Open Source können Entwickler diese Ideen zwar auf eine eher hausgemachte Weise weiterentwickeln, es sind jedoch noch immer große Bedenken hinsichtlich Datenschutz und Kosten zu klären. Diese Fragen sind zwar wichtig, stehen für Entwickler in den frühen Phasen dieser Technologie jedoch nicht gerade im Mittelpunkt. Wichtiger ist für sie, die Technologie nützlich zu machen.
Einige technisch nicht versierte Personen kaufen Open Glass vielleicht, um einfach eine günstige Smart Glasses zu verwenden. Das Team arbeitet noch an der Entwicklung des Produkts, aber es sieht so aus, als ob es bereits vorgefertigt mit integrierten umfangreichen Sprachmodellen und einer dazugehörigen mobilen App geliefert wird. Der tatsächliche Preis des Geräts kann sich ebenfalls ändern, der gesamte Quellcode ist jedoch verfügbar. kostenlos auf GitHub.
Die Geschichte von Open Glass ist ein Beleg für die florierende KI-Startup-Kultur in San Francisco. Die Open-Source-Community könnte entscheidende Durchbrüche bei festgefahrenen Technologien wie Smart Glasses ermöglichen. Praktischer ausgedrückt könnte sie auch Laien eine Smart Glasses zum Preis einer Kinokarte anbieten.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
