Zwei Tage im Jahr 2022: Der blitzschnelle Schwenk von Humanloop vor der LLM-Welle

Im Jahr 2020 startete Humanloop mit einer Softwareplattform, die auf eine damalige Kernanforderung des maschinellen Lernens ausgerichtet war: menschlichen Arbeitskräften dabei zu helfen, Rohdaten für das Training effizienter von Hand zu annotieren. Mitgründer Raza Habib und sein Team entwickelten Werkzeuge, um diese monotonen Beschriftungsaufgaben zu optimieren. Etwa zwei Jahre vor 2024 erkannte Habib jedoch einen grundlegenden Wandel bei der Entwicklung von Systemen der künstlichen Intelligenz. Sich rasant entwickelnde große Sprachmodelle drohten die manuelle Datenannotation überflüssig zu machen, was das ursprüngliche Produktmodell von Humanloop unmittelbar gefährdete.

Vorausschau im KI-Wandel

Monate bevor ChatGPT sein Debüt feierte und der generativen künstlichen Intelligenz zu breiter Aufmerksamkeit verhalf, begann das Team von Humanloop mit den Vorbereitungen für eine umfassende strategische Neuausrichtung. Anstatt Teams weiterhin beim Beschriften statischer Daten für traditionelle, maßgeschneiderte Modelle zu unterstützen, sah Habib voraus, dass Entwickler künftig Software benötigen würden, um Prompts zu evaluieren, Iterationen zu verwalten und sowohl technischem als auch nicht-technischem Personal die Zusammenarbeit an Anwendungen auf Basis vortrainierter Sprachmodelle zu ermöglichen.

Die Validierung in 48 Stunden

Die Neuausrichtung eines Unternehmens in der Frühphase barg erhebliche Risiken. Daher entwickelten die Gründer einen praktischen Test, um die tatsächliche Marktnachfrage zu prüfen, bevor sie ihre Entwicklungskapazitäten umverteilten. Sie entwarfen einfache Benutzeroberflächen-Mockups für eine Plattform zur Prompt-Evaluation und setzten sich eine strenge Frist: Zwei Wochen Zeit, um auf Basis dieser ersten visuellen Entwürfe zehn zahlende Unternehmenskunden zu gewinnen.

Laut einem Unternehmensporträt von Y Combinator erreichte Humanloop seinen Benchmark für die Validierung weit schneller als geplant. Statt der veranschlagten zwei Wochen benötigte das Team lediglich zwei Tage, um sein Ziel von zehn zahlenden Kunden zu erreichen. Die rasche Überzeugungskraft bewies, dass Entwicklungsteams, die mit frühen Sprachmodellen arbeiteten, strukturierten Werkzeugen zur Bewertung der Ausgabequalität und zur rollenübergreifenden Zusammenarbeit bedurften.

Der Spielraum für Unternehmens-LLMs

Im Anschluss an die schnelle Validierung baute Humanloop seine Plattform zu einem zentralen Arbeitsbereich aus, um Prompts zu evaluieren, Sprachmodelle zu vergleichen und Systemanpassungen im Zeitverlauf nachzuverfolgen. Enterprise-Softwareunternehmen wie Gusto, Vanta und Duolingo setzten die Werkzeuge ein, um die Einführung ihrer generativen Modelle zu verwalten.

Habib bezeichnete eine systematische Evaluation als wesentliche betriebliche Voraussetzung für den Einsatz. Anstatt sich auf informelle Stichproben einzelner Beispiele zu verlassen, müssen Teams konsistente Mess-Benchmarks etablieren, die speziell auf ihre individuellen Ausgabekriterien zugeschnitten sind. Die Plattform erfasst zudem das Feedback der Endanwender und kombiniert explizite Eingaben wie Positiv- und Negativbewertungen mit impliziten Signalen – etwa der Frage, ob ein generierter E-Mail-Entwurf tatsächlich versendet wurde. Durch die Nachverfolgung der Prompt-Versionshistorie parallel zum Anwendungscode verhindern Teams den Verlust von Versuchsprotokollen beim Update der zugrunde liegenden Modelle.

Vom Prompt Engineering zum Fine-Tuning

Mit zunehmender Reife der Anwendungen begleitet Humanloop Teams beim Übergang vom anfänglichen Testen von Prompts hin zur Optimierung nach der Validierung. Während Prompt Engineering den schnellsten Einstieg bietet, betonte Habib, dass ein Fine-Tuning der Modelle nach der Bestätigung der Produktnachfrage zu um Größenordnungen geringeren Kosten und reduzierten Latenzen im Vergleich zur ausschließlichen Nutzung von Basismodell-Prompts führt. Die Einbindung von Fachexperten an der Seite von Softwareentwicklern bei der Verfeinerung von Prompts stellt zudem sicher, dass nuancierte Branchenbegriffe korrekt berücksichtigt werden.

Heute stellt Humanloop die zentrale Infrastruktur für Evaluation und Prompt-Management bereit, die von Unternehmen wie Gusto, Vanta und Duolingo genutzt wird. Indem das Team den Phasenwechsel weg von der manuellen Datenbeschriftung voraussah, bevor ChatGPT die Marktnachfrage beschleunigte, wandelte es ein existenzielles Geschäftsrisiko in eine frühzeitige Marktpräsenz im Bereich der Sprachmodell-Werkzeuge für Unternehmen um.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Humanloop CEO Raza Habib shares 5 common mistakes teams make when building with LLMs