Wealth Management by Zahlenwerk ist jetzt in der Beta. Auf die Warteliste→
← Insights
Data

Warum unser Extraktionsmodell „Ich bin mir nicht sicher“ sagen darf

Ein Parser, der zu 96 % richtig liegt, ist nicht zu 96 % nützlich. Entscheidend ist, ob er weiß, welche 4 % er markieren muss.

Limited Partners erhalten ihre finanzielle Wirklichkeit als PDF. Kapitalkontoauszüge, Abrufmitteilungen, Ausschüttungsmitteilungen, K-1s, jeweils von einem anderen Administrator, jeweils mit eigenem Layout, und keines davon dafür gemacht, von Software gelesen zu werden.

Daraus strukturierte Datensätze zu machen, ist der Kern dessen, was unsere Plattform tut. Der naheliegende Maßstab dafür ist Genauigkeit: Welcher Anteil der ausgelesenen Zahlen stimmt? Diese Kennzahl haben wir recht früh als Hauptmetrik aufgegeben, und der Grund lohnt eine Erklärung.

Genauigkeit verdeckt genau den Fehler, auf den es ankommt

Angenommen, ein Parser liest Kapitalkontoauszüge mit 96 % Genauigkeit pro Feld. Das klingt stark. Jetzt setzen Sie ihn auf ein echtes Portfolio an: ein paar hundert Felder pro Quartal, also rund ein Dutzend falscher Zahlen, verstreut, und nichts kennzeichnet sie.

Ein falscher NAV bleibt nicht an einer Stelle falsch. Er wandert in den TVPI, in die Fondsaggregation, in den Quartalsbericht, den ein Haus an seine Investoren schickt. Und weil die übrigen 96 % stimmen, schaut niemand hin.

Ein System, das in 4 % der Fälle selbstsicher falschliegt, ist schlechter als eines, das zu 90 % richtig liegt und Ihnen sagt, bei welchen 10 % es unsicher war. Mit dem zweiten können Sie arbeiten. Das erste untergräbt still das Vertrauen in jede Zahl, die es anfasst.

96 % genauMeistens richtig, stumm, wenn nicht
96 richtig
90 % genau, sagt, wo es unsicher istWeniger beeindruckend, aber Sie wissen, was zu prüfen ist
90 richtig10 zur Prüfung markiert
Die roten Umrandungen gibt es nur auf dieser Seite. Im ersten System kennzeichnet nichts die vier falschen Werte, und genau das ist das Problem.

Konfidenz muss pro Feld gelten

Als Erstes hat geholfen, Konfidenz auf Dokumentebene zu verwerfen. „Dieses Dokument wurde mit 91 % ausgelesen“ führt zu keiner Handlung: Einen Prozentsatz kann man nicht prüfen.

Stattdessen trägt jeder ausgelesene Wert seine eigene Konfidenz. Eine Commitment-Zahl aus einer sauberen Tabelle bekommt einen hohen Wert. Ein NAV, der aus einer Fußnote in einem eingescannten Fax gewonnen wurde, einen niedrigen, auch im selben Dokument. Die Prüfung zielt dann auf die vier Felder, die einen Menschen brauchen, statt auf den ganzen Auszug.

Unter der Schwelle wird nichts geschrieben

Werte unter der Schwelle landen nicht als vorläufige Daten mit Warnhinweis im Portfolio. Sie landen dort gar nicht. Sie warten in einer Prüfwarteschlange, bis eine Person sie freigibt.

Das ist bewusst konservativ, und es kostet uns etwas: Ein Haus, das zwanzig Auszüge hochlädt, findet Arbeit vor, die auf es wartet. Die Alternative ist schlechter. Vorläufige Zahlen, die schon im System stehen, werden wie echte behandelt, weil sie genauso aussehen wie alles um sie herum.

„Wirkungslos bis zur Freigabe“ ist leicht zu erklären, und es sorgt dafür, dass „was im Portfolio steht“ genau eine Sache bedeutet.

  1. AuszugKapitalkontoauszug, Abruf- oder Ausschüttungsmitteilung
  2. Ausgelesene FelderJeder Wert mit eigener Konfidenz
  3. SchwelleFeld für Feld geprüft
DarüberIns Portfolio geschriebenMit einem Link auf die Seite, von der er stammt
DarunterPrüfwarteschlangeNichts wird geschrieben, bis eine Person es freigibt
Konfidenz wird pro Feld bewertet, nicht pro Dokument. Nichts Vorläufiges gelangt je ins Portfolio.

Jede Zahl behält den Weg zurück zur Quelle

Eine Extraktion ist eine Aussage über ein Dokument, also speichern wir sie auch so. Jede Bewertung und jedes Cashflow-Ereignis trägt einen Verweis auf das Dokument, aus dem es stammt, und auf die Art der Quelle: ein Kapitalkontoauszug, ein 409A, eine bepreiste Finanzierungsrunde, ein Börsenkurs oder ein manueller Eintrag durch eine Person.

Praktisch heißt das: Jede Zahl im System lässt sich zurückverfolgen. Klicken Sie auf einen NAV, und Sie landen auf der Seite des PDFs, aus der er gelesen wurde. Wenn ein Administrator ein Quartal korrigiert, finden Sie jede Zahl, die aus dem überholten Dokument stammt, statt zu raten.

Das ist auch der Grund, warum der Audit-Trail echt ist und nicht dekorativ. Er ist kein Protokoll darüber, wer was angeklickt hat. Er ist eine Kette von der Zahl zurück zu dem Papier, von dem sie stammt.

Der unbequeme Teil

Ehrlich gesagt liefern wir ein Produkt aus, das manchmal sagt: „Das konnte ich nicht lesen, bitte prüfen.“ Das ist eine schlechtere Demo als ein System, das stillschweigend alles ausfüllt.

Für alle, die den daraus entstehenden Bericht abzeichnen müssen, ist es ein viel besseres Produkt. In diesem Bereich ist kalibrierte Unsicherheit eine Funktion, und wer etwas anderes vorgibt, verschiebt den Fehler nur an eine Stelle, an der man ihn schlechter sieht.

DE
EnglishDeutschEspañol