Es ist schon etwa 6 Monate her, seitdem meine Frau und ich uns von Albuquerque verabschiedet haben und nach Deutschland gezogen sind. Ich mache ein Masterprogramm im Bereich Computerlinguistik an der Universität Tübingen und meine Frau lernt immer noch Deutsch, und zwar mit dem konkreten Ziel, einen B2-Zertifikat am Ende des Jahrs zu kriegen. Bis jetzt fühlen wir uns sehr wohl hier!

Ich würde gern sagen, dass es "Lust auf Abenteuer" war, das uns zu diesem Umzug angespornt hat. Das Problem mit dieser Beschreibung: ich bin ein furchtbarer Tourist. Meine Wanderlust hält keine zwei Tagen unterwegs aus, vor ich mich erneut nach Regelmäßigkeit sehne. Das erste, das ich tun will, nachdem ich aus dem Flughafen heraustrete, ist mich einzuleben. Eine tägliche Routine etablieren, die beste Studierecken erkunden, usw. Das habe ich schon gemerkt, als ich meine Studienreise in Granada machte. Ich hätte viel mehr innerhalb von Spanien (und Europa!) während meiner Aufenthalt reisen können, aber ich wollte nur studieren, zum Unterricht gehen, mir ein Schawarma gönnen und richtungslos durch die engen Gassen der Stadt (und manchmal auch die wunderschöne Alhambra) herumwandern. Früher schämte ich mich ein bisschen, meine Reisegelegenheiten nicht richtig ausgenutzt zu haben. Jetzt aber akzeptiere ich diesen Teil meiner Persönlichkeit.

Es sind einfach nicht die touristische Ziele, die mich am meisten beim Reisen anziehen, sondern die unvorhersehbaren Kleinigkeiten des Alltags. Das Erlebnis des Einlebens in einer fremden Gegend hat, finde ich, eine gewisse metaphysische Tiefe. Es bringt einem nämlich dazu, unbemerkte und angenommene Einzelheiten der ehemaligen Umgebung zu hinterfragen, die eigentlich ganz anders hätten sein können. Längst angewöhnte Systeme und Annehmlichkeiten werden über den Haufen geworfen; Aufgaben, die man vorher schnell und reibungslos erledigen konnte, werden plötzlich überwältigend; der feste Boden des Alltags schwankt, und es dauert, bis man wieder Fuß fassen kann. Aber je vertrauter man mit den Gegenständen des neuen Landes wird, desto häufiger stellt er sich die Frage: wieso gibt es dies oder das in meinem Heimatland nicht?

In diesem Blogeintrag wollte ich nur ein paar Merkwürdigkeiten aus meinem neuen baden-württembergischen Alltag skizzieren. Die repräsentieren zwar weder das ganze Land noch das ganze Bundesland. Hier gibt es nämlich noch viel, von dem ich noch keine Ahnung habe. Aber bis jetzt finde ich es schön hier, und das ist mein Liebesbrief an das fremde Paralleluniversum, in das ich vor kurzem hineingetreten bin.

Lüften

Schon vor meiner Ankunft in Deutschland war mir das Phänomen des "Lüftens" bekannt. Angeblich soll man das Haus oder die Wohnung regelmäßig lüften, also die Fenster öffnen und frische Luft durchblasen lassen. (Angeblich ist das auch neuerdings unter Englischsprachigen auf TikTok zum Trend geworden, wo ihm eine ekelhafte Bezeichnung anhaftet, die ich mich prinzipiell weigere, hier wiederzugeben.) Gesundheitlich soll diese Gewohnheit einem guttun. Übrigens ist es auch eine einzigartige Erfahrung, ein deutsches Fenster zu öffnen: die Fenster können nämlich entweder waagerecht oder senkrecht öffnen, je nach die Richtung der Klinke. Irgendwann muss ich unbedingt lernen, wie genau die Mechanik dahinter funktioniert.

Allerdings ahnte ich im Voraus nicht, zu welchem Grad diese Tradition institutionalisiert ist. Das ist mir zum ersten Mal aufgefallen, als wir den Mietvertrag unserer Wohnung bekommen haben. Bei der Wohnungssuche hatten wir großes Glück und uns wurde vor der Ankunft eine sehr bequeme Zweipersonenwohnung mit einer eigener Küche und eigenem Badezimmer (weshalb wir uns echt verwöhnt fühlen!) von einem Studentenwohnheim in Tübingen zugeordnet. Im Mietvertrag standen die Zeilen:

Der Mieter ist stets verpflichtet... die Mietsache ausreichend zu lüften, zu beheizen und gegen Frost zu schützen und seine Mietsache sauber zu halten.

Also, wir sind vertraglich verpflichtet, unsere Wohnung zu lüften. Ein Problem für uns ist das natürlich nicht - das hatten wir in unserer Wohnung in Albuquerque schon regelmäßig getan, und das trotz des hohes Staubinhalts der Wüstenluft. Überraschend war es jedenfalls, das Lüften vertraglich vorgeschrieben zu bekommen.

Später erfuhr ich, dass das Lüften nicht nur verträglich sondern auch maschinell umgesetzt wird. In der Universitätsbibliothek gibt es mehrere große Studiensäle, wo viele Reihen von Tischen mit ruhig lesenden oder arbeitenten Studierenden ständig besetzt sind. Ungefähr jede 20-30 Minuten unterbricht die Stille aber ein durchdringendes mechanisches Knurren. Die Oberfenster auf beiden Seiten des Saals kippen, und frische Luft strömt hinein. Nach ein paar Minuten kommt das Knurren noch mal, und die Fenster sind wieder zu. Noch ein paar Minuten später ist das Geräuch noch mal zu hören, aber diesmal in der Ferne: ein anderer Saal ist nämlich dran. Auch im Frühling ist das so passiert, als die Luft draußen an manchen Tagen noch ziemlich frostig war. Wenn man kurze Ärmel trug, dann zog man einfach einen Pullover an und gleich danach wieder aus, oder stand man auf und wartete zitternd in der Mitte des Saals, in der Hoffnung, dass die kalte Luft nicht zu schnell hineinwehen würde. Das Lüften hat nämlich Vorrang vor Komfort.

Brötchen und Gebäck

Wenn ich meinen ausländischen Mitstudierenden in Tübingen frage, was sie am meisten aus ihren Heimatländern vermissen, am allerhäufigsten wird die Küche erwähnt. Deutsches Essen schmecke ihnen nämlich gar nicht.

Da kann ich auf gar keinem Fall zustimmen. Was sogenannte "traditionelle deutsche Küche" angeht, habe ich zwar nicht außergewöhnlich viel davon gegessen (ich bin ja wieder auf einem Studentenbudget und Restaurants sind teuer!). Trotzdem habe ich habe ich seit dem Umzug eine deutliche lebensmittelbezogene Genusssteigerung erlebt, für die vor allem die deutschen Bäckereien zu verdanken sind.

Aus irgendeinem Grund ist meine Lust auf Süßigkeiten im Laufen der letzten paar Jahren rückläufig geworden. Besonders vormittags ekelte ich oftmals vor der bloßen Vorstellung, etwas Süßes und Klebriges sogar mit dem Finger zu berühren, vom Essen selbst ganz zu schweigen. Vielleicht trägt die weitgehend unzuverlässige Qualität von Süßgebäck in den USA dazu bei. In den sporadischen Malen, in denen ich so etwas spontan in einem Café gekauft habe, wurde ich oft von dem Geschmack oder der Konsistenz enttäuscht. Wann immer ich eine neue Art Gebäck in einem Stammkafé ausprobiert habe, und es mir halbwegs gefallen hat, habe ich daraufhin meine Gebäckeinkäufe bei künftigen Besuchen auf diese Variante eingegrenzt, um die Wahrscheinlichkeit einer Enttäuschung einzudämmen; selbst dann hat sich die Qualität mehrmals als unerklärlich schlimmer als bei den früheren Exemplaren herausgestellt. Es fühlt sich schlimm an, etwas zu essen, das gleichzeitig sowohl ungesund als auch unzureichend lecker ist, als würde man dabei nicht nur Geld sondern auch die persönlichen Lasternquote dabei verschwenden.

Die erste Süßigkeit, die ich mir in Deutschland gegönnt habe, war ein Schnitt Erdbeerkuchen. Eines Morgens nach dem Joggen war ich in Edeka (ein Lebensmittelgeschäft) vorbeigeschaut, um mir einen Kaffee zu holen. Der Erdbeerschnitt war ein spontaner Einkauf und ziemlich ungewöhnlich für mich, vor allem weil es noch Vormittag war. Den Einkauf habe ich nicht bereut. Ohne Übertreibung kann ich sagen, dass es das beste Kuchenstück meines Lebens war. Das Entzücken, nicht enttäuscht von so einem spontanen Einkauf zu sein, hat den Genuss natürlich erhöht. Am nächsten Tag brachte ich noch ein Stück mit nach Hause, um diese Entdeckung mit meiner Frau zu teilen.

Wenn ich hier etwas Neues von einem Bäckerei ausprobiere bin ich selten enttäuscht. Die neuen Varianten gehen mir in absehbarer Zukunft nicht aus, denn es gibt in jedem Bäckerei einen ganzen Haufen Süßgebäck. Vor ein paar Tagen habe ich eine neue Art Kuchen gekostet: darauf waren leicht glasierten Aprikosen und Walnüsse und auf der Unterseite war eine Krümelschicht mit Braunzuckergeschmack. Es hat nach Herbst geschmeckt. (Den habe ich übrigens auch in einem Keim-Filial in einem Edeka gekauft. Gegenüber Cafégebäck in den USA war ich schon misstrauisch; das Gebäck, das in vielen amerikanischen Lebensmittelketten verhökert wird, würde ich nicht mal mit der Kneifzange anfassen.)

Hier handelt es sich aber nicht nur um Süßgebäck, sondern auch um ein Grundnahrungsmittel der Deutschen, nämlich das Brötchen. Eigentlich ist ein Brötchen im Wesentlichen gleich ein Sandwich. Die Idee ist zwar keineswegs neu, aber sie sind auch irgendwie einfach besser als bei uns zulande und werden jeden Tag in jedem Bäckerei frisch zubereitet und ausgestellt. Leckere gekochte Eier sind ein beliebter Belag. Mich wundert übrigens, dass Gurken (keine Essiggurken, sondern einfach Gurken) nicht beliebter als Sandwich-Belag in den USA sind, denn sie sind wunderbar frisch und knusprig.

Erst vor ein paar Tagen haben wir es uns gewagt, ein Fleischkäsebrötchen zu probieren. Genau woraus Fleischkäse besteht, weiß ich nicht, und möchte ich auch nicht wissen. Ein ganzer von Wärmelampen warm gehaltener Laib davon schwitzt hinter der Theke jeden Tag und bei Bedarf werden Stücken davon locker abgeschnitten. Vom Aussehen her ist Fleischkäse das Verdächtigste, das ich hier bisher probiert habe. Natürlich war er aber auch überraschend lecker. Zwischen zwei Teilen eines Kleverle-Brötchen war er wie eine himmlische hochverarbeitete Fleischwolke.

In Stuttgart haben wir erfahren, dass sogar bei Starbucks das Angebot bei weitem überlegen ist. Selbstverständlich ist es so - wie sonst konnten sie mit den deutschen Bäckereien an jeder Ecke konkurrieren?

Das Pfandsystem

Egal was für große Mühen die Autoren von Fremdsprachenlehrbücher sich geben, alltagsrelevante Vokabeln aus allen Bereichen des Lebens sorgfältig zu bedecken, läuft alles anscheinend unvermeidlich anders in der Praxis. So war beispielsweise meiner Aufenthalt in Granada, als ich vor einigen Jahren meine einjährige Studienreise begann. Bezüglich der Sprache stand ich schon irgendwo zwischen der B2- and der C1-Niveau, denn ich hatte sie schon mehrere Jahren lang studiert. Trotz jahrenlanger Vorbereitung blieb ich aber stumm und verblüfft, als ein Kassierer mir zum ersten Mal fragte, ob ich mein Essen "para llevar" (zum Mitnehmen) wollte, und als ein Klassenkamerad mich zu "una caña" statt "una cerveza" (ein Bier) einlud. Mir war es hundertmal einschüchternder und peinlicher, einkaufen oder essen zu gehen, als den Informatikunterricht zu verstehen.

Selbstverständlich ereigneten die erste paar Wochen in Deutschland auch so, obwohl wir in den USA schon monatenlang dabei gewesen waren, eine kleine deutsche Immersionskammer zu Hause durch tägliche Nachrichten, Podcasts und Bücher zusammenzustückeln. Eine der ersten unerwarteten Fragen in Deutschland, auf die ich stieß, hat mir einen Teil des deutschen Alltags enthüllt, der so omnipräsent ist, dass mich meine vorherige vollkommene Unwissenheit darüber immer noch überrascht.

"Wollen Sie Pfand- oder Pappbecher?"

Das Wort "Pfandbecher" war mir noch völlig unbekannt. Und bei einem Kiosk, wo es offensichtlich keine Tischen zum Verweilen und kein waschbares Geschirr gab, hatte ich keine Frage darüber erwartet, was für einen Becher ich möchte.

"Pfand" bedeutet auf Englisch "(security) deposit" oder "collateral", also das Geld oder Eigentum, das man einem Verleiher oder Vermieter anvertraut, wenn man etwas von Wert ausleiht oder mietet, und beim Zurückgeben zurückerhält, solange die Wertsache sich noch in gutem Zustand befindet. In diesem Fall geht es aber nicht um Wohnungen oder Autos, sondern um Becher. Ein Pfandbecher ist nämlich ein wiederverwendbarer Becher aus Kunststoff, für den man normalerweise 1 Euro extra bezahlt, das man zurückbekommt, sobald man das Becher zurückgibt. Anderenfalls kann man sich für einen wegwerfbaren Pappbecher entscheiden, der weniger als 1 Euro mehr kostet. Diese zusätzliche Cents sind dann aber für immer weg (genauso wie die zerknüllte Leiche des armen weggeworfenen Bechers).

Der Schlüssel zu diesem System liegt darin, dass die Pfandbecher nicht zurück zum gleichen Café wiedergebracht werden müssen. Die meisten Pfandbecher sind von der Firma Recup produziert. (Die Frage "Wollen Sie Pappbecher oder Recup?" habe ich zwar auch ein paar Mal mit blödem Starren entgegnet.) Deswegen akzeptiert der Großteil der Cafés und Bäckerein diese Becher im Austausch für das 1-Euro-Pfand. Das gleiche System gilt auch für viele Kunststoffflaschen und Glasflaschen, die im Lebensmittelgeschäft zu kaufen sind. Vielerorts gibt es sogar einen Automat dafür, bei den man das "Leergut" einreichen und einen Kassenzettel für die zusammengerechnete Summe erhalten kann. Manche Flaschen werden sogar durchgespült und wiederbenutzt; daher tragen einige Saft- oder Bierflaschen im Lebensmittelgeschäft merkbare Gebrauchsspuren oder kleine vom Entkleben des vorherigen Etiketts hintergelassene Papierreste, was ich als liebenswert empfinde aber in den USA völlig undenkbar wäre.

Dieses System trägt wesentlich auch zur Verschönerung der Stadt bei. Nach meiner Ankunft in Tübingen merkte ich ein paar Mal mit leichter Unruhe, als ich draußen am Campus oder im botanischen Garten saß, wie jemand mit einer riesigen Einkaufstüte langsam und aufmerksam um mich herum schritt, als wäre er auf der Jagd nach etwas. Hätte sowas in Albuquerque passiert, dann wären meine Sorgen wohl gerechtfertigt. Erst spätter erfuhr ich, dass diese Individuen sogenannte Flaschensammler waren, also Leute, die herumgehen und verlassene Pfandflaschen sammeln, um ein bisschen Geld dabei zu verdienen. Die Gesichter der Tübinger Flaschensammler erkenne ich schon gut, denn diese Stadt ist außergewöhnlich klein.

Bis heute ist dieses einfache aber geniale System eine der Einzigartigkeiten Deutschlands, die mich am meisten beeindruckt. Es vereinbart nämlich den Kapitalismus mit dem Umweltschutz, indem es dasselbe Gewinnmotiv nutzt, die mit so einer zerstörerischen Kraft in anderen Bereichen auswirkt, um die Stadt aufräumen zu lassen.

"Zu verschenken"

Vor ein paar Monaten lernte ich bei einem Sprachaustauschveranstaltung eine Frau aus Argentinien kennen, die als Heranwachsende mit ihren Eltern nach Deutschland umgezogen hatte, vor allem um den schlechten Arbeitsbedingungen ihres Heimatlands zu entkommen und bessere finanzielle Möglichkeiten zu finden. Inzwischen ist sie ziemlich gut zurechtgekommen; einen Bachelor-Abschluss hat sie hier schon gemacht und jetzt arbeitet sie als eine Art internationale Handelsverwalterin bei einer Firma arbeitet, die Ozonmaschinen herstellt. (Dank meiner Frau und r/CleaningTips war mir mindestens eine Benutzung der Ozonmaschinen schon bewusst, was diese Frau überrascht hat.) Sie erzählte mir aber, dass sie damals kein einziges Wort von Deutsch kannte. Als ihre Familie ringte damit, in dem fremden Land zurechtzukommen, lernte sie ihre ersten deutschen Wörter: "zu verschenken".

Kein Wunder! Überall in den Tübinger Nachbarschaften belegen mit kostenlosen Gebrauchtwaren aufgeladene Kisten, Tischen, Schränke usw. den spenderischen Geist der Bewohner. Vermutlich ist dieses Phänomen in Tübingen besonders übertrieben, weil es so eine studentische Stadt ist und deshalb eine unverhältnismäßig große Bevölkerung mit einem stark eingegrenzten Budget hat. Allerdings habe ich nicht wenige solcher Spendenstapel in Stuttgart gesehen.

Sprachenvielfalt

Die Flughäfen haben mir immer sehr gut gefallen, insbesondere weil sie ideale Orte für die Menschenbeobachtung darstellen. Ich interessiere mich auch sehr viel für die Sprachen und fürs Sprachenlernen, also das Lauschen von Gesprächen zwischen Personen aus aller Welt bildet für mich auch ein spannender Zeitvertreib. Die USA ist wohl ein Land erheblicher sprachlicher und kultureller Vielfalt, aber trotzdem scheint das Englisch alle andere Sprachen zu verdrängen, selbst in New Mexico, wo Spanisch gesetzlich anerkannt ist und viele offizielle Mitteilungen in den beiden Sprachen veröffentlicht werden müssen. Deshalb nahm ich immer die Sicherheitsschleuche im Flughafen als die Grenze wahr, wo man vom englischsprachigen Bereich in den mehrsprachigen Bereich überquert.

Nicht so hier in Deutschland: als ich aus dem Flughafen hinausgetreten bin, hat die Mehrsprachigkeit einfach nicht aufgehört. Auf der Straße und in der U-Bahn höre ich ständig Gespräche und Telefonanrufe auf Spanisch, Französisch, Russisch, Chinesisch, verschiedene Dialekte von Arabisch... und dazu auch von Sprachen, von denen ich eigentlich nichts weiß, die ich aber als Persisch, Türkisch, Ukrainisch, Rumänisch oder Swahili zu anerkennen glaube. Vermutlich habe ich sowohl der freien Bewegung zwischen den EU-Ländern als auch der Aufnahme vieler Einwanderer und Flüchtlinge in Deutschland für diese sprachliche Mannigfaltigkeit zu verdanken.

In Baden-Württemberg gibt es auch einen deutschen Dialekt namens Schwäbisch. Der wird meistens von älteren Leuten gesprochen und teilt viele Wörter mit Hochdeutsch, derart, dass man mit guten Deutschkenntnissen ein halbwegs verständliches Gespräch mit jemandem führen kann, der ständig auf Schwäbisch antwortet, zumindest wenn man sich darauf sehr genau konzentriert. Wenn man aber unerwartet auf Schwäbisch angesprochen wird, ist es manchmal schwer zu erkennen, weil es so ähnlich zu Deutsch klingt. Man fragt sich verzweifelt, ob das eigentlich Schwäbisch ist, oder vielleicht reines Hochdeutsch mit einem sehr starken Akzent, oder vielleicht hätte man einfach noch eine Tasse Kaffee zu sich nehmen sollen, denn die Ohren sind einfach noch nicht wach und verarbeiten das Deutsch nicht richtig...

Auf jeden Fall kommt das mir wie genau die richtige Umgebung vor, Fremdsprachen und Linguistik zu studieren!

Höfe und Dörfer in der Nähe

Als amerikanischer Stadtbewohner habe ich das Ackerland der USA nie viel Aufmerksamkeit gewidmet. Dass es Höfe dort gibt, war mir natürlich bewusst. Die habe ich aber immer als abstrakte Einrichtungen in der Ferne betrachtet, die dafür verantwortlich waren, dass Gemüse und Fleisch in den städtischen Lebensmittelgeschäften regelmäßig auftauchen. Eigentlich stimmt das nicht ganz, da so viel auch aus dem Ausland importiert wurde, aber jene ausländische Höfe habe ich fast auf einer Ebene mit den Inländischen wahrgenommen, denen ich schon mit betrachtlichem Abstand gegenüberstand. Bestenfalls wurde ich während einer Autoreise an einen Hof vorbeigefahren, aber selbst dann versorgt das Autofenster eine gweisse psychologische Absperrung, als wäre es ein Fernsehbildschirm.

Hier in Tübingen kann ich aber nicht umhin, ganz konkrete Bauernhöfe vors Gesicht zu sehen zu bekommen. Davon gibt es eine ganze Menge, und zwar keine dreißig Minuten von dem Stadtzentrum, ja keine fünf Minuten zu Fuß von meinem Wohnheim entfernt. Gehe ich in eine beliebige Richtung spazieren, komme ich schließlich zu einem Hof. Der unverkennbare Duft frisch gestreute Nutztierkacke (vermutlich als Dünger eingesetzt) duftet einem an der Nase vorbei. Den Erntezyklus bekomme ich auch vor Augen: heute jogge ich an einem Feld vorbei, wo es mit Wellen von goldenem Getreide wimmelt, und eine Woche später jogge ich am gleichen Feld vorbei, aber diesmal ist das alles schon weg, durch Reihen von Jungpflanzen in Schlamm ersetzt worden.

Darüber hinaus gibt es ein ganzes Netzwerk von Dörfern in der Nähe von Tübingen, die durch ein Gewirr von Fuß- und Radwege erreichbar sind. Einige davon habe ich spontan beim Joggen besucht.

Diese Dörfer sind im Allgemeinen außergewöhnlich hübsch und idyllisch. (Als ich vor einigen Jahren Hermann Hesses Das Glasperlenspiel las, fand ich seine Darstellung der Natur wunderschön. Vor kurzem habe ich zum ersten Mal seit einigen Jahren noch etwas von ihm gelesen, und zwar Unterm Rad, aber diesmal fand ich sie umso lebhafter, da ich selbst die Schönheit der deutschen Landschaft bezeugen kann, die sie inspiriert haben müssen.) Sie bieten auch andere Eigentümlichkeiten an, als es in der Universitätsstadt zu genießen gibt. Zum Beispiel, im nahegelegenen Wankheim gibt es eine "Milchbar":

Die habe ich noch nicht besucht, da ich beim Joggen dahingekommen war, und irgendwie kam mir die Idee, mir eine Tasse frisch gezapfter Milch an einem glühend heißem Sommertag zwischen durch Schweiß versaltze Lippen hineinzuschwemmen, nicht allzu angenehm vor. Vielleicht aber künftig. In mehreren Dörfern habe ich auch Automaten wie diesen erblickt:

Also, das sind Verkaufsautomaten, wo Tierprodukte und Lebensmittel z.B. Milch, Eier, Kartoffel, Dosenfleisch usw. erhältlich sind. (Ja, ich weiß, mein Foto ist Scheiße.) Für einen Deutschen ist das vielleicht nichts Besonderes, aber für mich wirkt das surreal. Kartoffelchips habe ich wohl mehrmals in einem Verkaufsautomat gesehen, aber Kartoffel?!

Also, das war's für jetzt. Ciao!

Vor kurzem hat A24 einen Horrorfilm mit dem Titel Backrooms herausgebracht, der auf ein gleichnamiges Internet-Horror-Phänomen basiert. Der Film, sowohl als auch die YouTube-Serie, die ihm vorausgegangen ist, haben mir sehr gut gefallen. In diesem Blogeintrag wollte ich darauf genauer hinschauen, was die Backrooms unheimlich macht und warum sie dem Zeitgeist so gut entsprechen.

Ursprung der Backrooms

Der Ausdruck "Backrooms" verweist auf einen fiktiven, übernatürlichen Bereich, die aus eine endlose Reihe von unheimlichen, oft büroartigen oder industriellen Zimmern und Fluren besteht und mit geheimnisvollen menschenfeindlichen Wesen dünn bevölkert ist. Die Idee ist ursprünglich aus einem 4chan-Faden entstanden und zu einem kollaborativen Creepypasta-artigen Mythos geworden. Sie hat ein eigenes Wiki, wo Anhänger ständig Konzepte für neue Räumen entwickeln und beunruhigende Zimmerbilder hochladen.

Die Backrooms sind eng mit dem Begriff der "Liminalität" verbunden. In der Internetkultur verweist der Ausdruck "Liminalraum" auf einen leeren oder verlassenen Ort, der ein unheimliches Gefühl erweckt. Der Begriff ist mit "Uncanny Valley" vergleichbar: ein Raum, der sehr bekannt vorkommt aber einige kleine, subtile Besonderheiten beherbergt wirkt viel beunruhigender als einer, der völlig fremd ist. Hier unten habe ich ein paar Bilder aus dem originalen 4chan-Faden, der Backrooms-Webseite und dem Subreddit r/LiminalSpace zusammengestellt, die meiner Meinung nach diese Ästhetik gut vertreten:

Ab 2022 hat der Youtuber Kane Parsons eine YouTube-Serie mit dem Titel Backrooms angefangen. Es besteht teilweise aus Found-Footage-Aufnahmen von Opfern, die in die Backrooms gerutscht sind, und teilweise aus internen Berichten einer Firma namens Async, die diesen rätselhaften Bereich entdeckt bzw. erzeugt hat. Angeblich hat Parsons die Darstellung der Backrooms in seiner Serie teilweise mit dem 3D-Modellierungssoftware Blender geschafft, aber man merkt das kaum beim Zuschauen. Die körnige Filmqualität verbergt fast jede Spur davon; darüber hinaus erzeugt es ein hervorragendes Analog-Horror-Gefühl.

Einige Gestaltungen der Serie sind genialerweise widersinnig:

Die YouTube-Serie war ein Riesenerfolg, was dazu geführt hat, dass A24 einen Spielfilm gemacht hat, der auf dem gleichen metaphysischen Horrorkonzept basiert. Der Film tauscht die Analog-Horror-Ästhetik gegen eine Handlung mit Charakter aus, die nicht immer hinter der Kamera sondern im Vordergrund stehen. Er verfolgt Clark, ein gescheiterter Architekt mit einer scheiternden Ehe, der zu einem Möbelverkäufer geworden ist, und seine Therapeutin Mary. Obwohl mir die originale YouTube-Serie aus ästhetischer Sicht besser gefallen hat, fand ich die A24-Spielfilm auch anregend, weil die Charakter und ihre Beziehung gut dazu passen, was für gesellschaftliche Themen ich in den Backrooms hineininterpretiere.

Was die Backrooms für mich bedeuten

Genauso wie mit jedem Fabel oder mit jeder urbanen Legende, kann man meinen, dass es großenteils willkürlich ist, welche Internet-Gruselgeschichten viral gehen und welche nicht. Ich ahne hingegen, dass manche - wie Backrooms - sich großer Beliebtheit erfreuen, weil sie einen Nerv in unserer Gesellschaft getroffen haben.

Viele von uns fühlen sich wohl dazu gezwungen, viel mehr Zeit, als wir uns wünschen würden, unter künstlichen Lichtern und in hässlichen, kitschig möblierten Räumen zu verbringen. Deshalb kommen uns die Backrooms wie eine besonders entsetzliche Art moderner Hölle vor. Meine persönliche Auffassung der Bedeutung der Backrooms geht aber etwas weiter. Kurz gesagt, sehe ich die Backrooms als eine Art physikalischer Manifestation des Unsinns, der aus dem komplexen Zusammenspiel vielen Menschen in der Gesellschaft als emergente Eigenschaft entsteht.

Unser Leben wird von unterschiedlichen komplexen Systemen gestaltet. Diese können ausdrückliche Organizationen sein, z.B. Regierungen, Betriebe, Schulen oder Kirchen, aber sie können auch emergente Phänomene wie der Kapitalismus oder die Globalisierung sein. Ihre Entwicklung kann zwar von einem rechtlichen Regelwerk beeinflusst werden, aber sie verselbständigen sich und führen zu unerwarteten Effekten, die niemand gewünscht hätte: Verschwendung von Ressourcen, Fehlanreize, Betrug, wirtschaftliche Krisen, menschliches Leiden. Sie sind also irgendwie gleichzeitig menschlich, insoweit, dass sie aus Menschen bestehen, und unmenschlich, insoweit, dass ihre emergente Eigenschaften manchmal menschenfeindlich oder entmenschlichend sind. Umso schrecklicher sind solche Strukturen, weil sie die Verantwortungsdiffusion hervorbringen. Ihre Probleme sind vielmehr emergent und systemisch und können nicht bekämpft werden, indem man einen endgültigen Bösewicht erschlägt.

Diese riesengroße verteilte Systeme sind selbst in einem Film kaum darzustellen, aber die YouTube-Serie inszeniert eine fiktive Firma namens Async als Hauptcharakter, die sich durch die Stimmen ihrer Angestellter ausdrückt. Sie entdeckt bzw. erzeugt den übernatürlichen Bereich der Backrooms und wir erfahren durch Einzelberichte, wie ihre Personal versucht, diese künstliche Wildnis zu zähmen. Für die Firma bildet sie einen Zielkonflikt zwischen Gewinn auf der einen Seite und Transparenz, Verständlichkeit und Sicherheit auf der Anderen. Ich könnte die Handlung fast allegorisch interpretieren, als die allgemeine Geschichte einer Firma, die kurz davor steht, die Grenze zwischen Mittelbetrieb und Großbetrieb zu überschreiten, und mit den entmenschlichenden Konsequenzen dessen ringt. Indem Async sich die Backrooms einverleibt, nimmt sie sowohl eine entscheidende Geschäftsgelegenheit als auch die Verantwortung an, ihre innewohnende menschenfeindliche Kräfte im Griff (oder nicht!) zu behalten.

In den Backrooms werden diese makroskopische Systeme vor allem durch Architektur und künstliche Gegenstände vertreten. Wir sind in unserem Alltag mit massenproduzierten Gegenständen ständig umringt: Möbel, Innenausbau, Leuchtkörper, Rohrleitungen, komplexe Elektronikgeräte, usw. Diese Gegenstände werden in unser Umfeld geliefert und aufgestellt, ohne das wir wissen, genau woraus sie bestehen, genau woher ihre Bestandteile kommen und genau wie sie funktionieren. Wir sind nicht angewöhnt, das zu hinterfragen; wir nehmen sie als gegeben an. Das haben wir der Großindustrie und der globalen Lieferketten zu verdanken. Ihre Schattenseite, nämlich ihre Gleichgültigkeit gegenüber dem menschlichen Wohlsein, wird aber durch die Perversion dieser Objekten in den Backrooms dargestellt. Ein Tisch blockiert eine Tür; ein Sessel sitzt klaustrophobisch mit Blickrichtung zur Wand; ein Stuhl hat unpraktisch lange Beine. So spiegeln die Backrooms die furchtbare Menschlichkeit-Unmenschlichkeit dieser Systeme wider. Sie bilden eine Umgebung, wo alles offensichtlich künstlich ist, aber jede Spur des menschlichen Verstands verlorengegangen ist.

Die Backrooms laden zu einem Vergleich mit einem anderen Horrorszenario, nämlich das Sich-Verlaufen in der Wildnis, zum Beispiel in einem riesengroßen Dschungel. Es gibt zwar zahlreiche unverständliche und gefährliche Wesen in der Natur. Irgendwie wäre das aber ein besseres Schicksal, als in den Backrooms eingeschlossen zu sein. Die Natur ist mindestens natürlich; egal wie gefährlich es sein mag, smeichelt es den menschlichen Sinnen, weil wir uns jahrtausendeland entwickelt haben, um die Schönheit der Pflanzenwelt oder eines Wasserlaufs schätzen zu können. Aus den emergenten Strukturen der modernen Gesellschaft ist aber eine neue Art "künstlicher Natur" entstanden, die genauso wild und umfassend wie die echte Natur ist, und die sie verdrängt. Mit ihren künstlichen Lichtern, ihrem kitschigen Möbel und ihren homogenen Farbkonzepten ist sie aber keineswegs schön. Wir verbrauchen immer mehr Zeit in solchen Räumen am Arbeitsplatz, in der Vorstadt, in der Schule, usw. Backrooms bringt zum Ausdruck die Furcht, dass sie uns endgültig verschlingen.

Die Sichtweisen der Charakter im A24-Film

Der A24-Film geht näher auf die Frage ein, wie wir als Individuen einer solchen Realität beikommen können. Zwei entgegengesetzte Sichtweisen sind durch Clark und Mary verkörpert.

Clark fühlt sich in seinem Leben eingeschlossen, obwohl er in keinem Haus eingesperrt ist; ganz im Gegenteil hat ihn seine Frau rausgeworfen. Einmal strebte er danach, Architekt zu werden, aber stattdessen ist er aus finanziellen Gründen gezwungen, einen untergehenden Möbelladen zu führen. Wir sehen, wie er sich als Pirat verkleidet und sich lächerlich macht, um eine Werbung für seinen Betrieb zu filmen. Die ausgestellte Möbel dienen vermutlich als tägliche Erinnerung seiner gescheiterten Bestrebungen. Sein Leben ist also zu einer ästhetisch abartigen Absurdität geworden. Als Antwort darauf greift er zur Flasche, gibt er anderen die Schuld und verhält er sich aggresiv gegenüber denen, die seine Handlung kritisieren.

Clarks Selbstmitleid ist nichts Besonderes, aber sein Zusammenspiel mit seiner Reaktion auf die Backrooms ist merkwürdig. Was seine Mitarbeiter und seine Therapeutin als schrecklich und beunruhigend wahrnehmen, bringt Clark fieberhafte Erregung entgegen. Er fühlte ja schon längst, dass etwas in seinem Leben falsch und verdorben war; in einem gewissen Sinn wohnte er schon in einer Art Backrooms in seinem Kopf. Für ihn stellt die Entdeckung eine Bestätigung dar, dass das Problem nicht nur mit ihm liegt, sondern auch mit seiner Umgebung.

Jetzt kommen wir zu Mary, dessen Sichtweise etwas interessanter ist, obwohl es auch nicht hinreicht, sie vor dem verdorbenden Einfluss der Backrooms zu bewahren. Ihr Weltbild wurde anscheinend stark von ihrer Kindheit geprägt, zu welcher Zeit sie von ihrer paranoiden und einsiedlerischen Mutter zu Hause eingesperrt wurde. Davon wurde sie letztendlich befreit, als ihre Mutter institutionalisiert wurde. Es wird angedeutet, dass Mary diese Erfahrung verallgemeinert und in ihre Herangehensweise als Therapeutin übertragen hat. Sie hat nämlich ein Buch geschrieben, von dem wir in ein paar Werbungen im Film erfahren, die dem Leser dazu ermahnt, "das innere Fenster zu öffnen". (Für sie ist dieses metaphorische Fenster eher konkret: es entspricht einem übertapezierten Fenster im Haus ihrer Mutter.) Die Botschaft lautet, dass man die eigene Probleme im Leben selber lösen kann, und wenn man das nicht tut, hat man selber schuld, weil man sich selbst zurückgehalten hat.

Diese Sichtweise ist für Clark gar nicht hilfreich. Seine Bewältigungsmechanismen sind zwar nicht gesund oder konstruktiv, aber wahrscheinlich sind viele der beruflichen und wirtschaftlichen Umstände, die zu seiner unerträglichen aktuellen Lebenssituation geführt haben, eigentlich außer seiner Kontrolle gewesen. Erst in der Backrooms werden aber die Schwäche Marys Sichtpunkt deutlich veranschaulicht. Zum einen ist die perverse Architektur der Backrooms eine eindeutige Ablehnung ihrer Fenster-Metapher: da bedeutet ein Fenster keinen Ausweg und dadurch kommt man bloß in ein anderes Zimmer. Die Backrooms sind also umfassend, im Vergleich zum Haus ihrer Kindheit. Zudem war ihre Gefangenschaft als Kind lösbar, indem seinen Verursacher, nämlich Marys Mutter einfach ausgehebelt wurde. Die Backrooms haben hingegen keinen "Endgegner" und keinen greifbaren Schöpfer. Die Bösewichter, die sie bewohnen, sind keine Verantwortliche, sondern die verstümmelte Überreste früherer Opfer. So entsprechen die Backrooms den gesellschaftlichen Systemen, die ich vorher beschrieben haben, und die die Urquelle Clarks Elend sind: sie sind allumfassend und stellen keinen konkreten Vertreter vor, den man beschuldigen oder bekämpfen kann.

Mary klebt fest an ihrer Idee. Sie schlägt sogar den Clark-Mutant mit dem Betonstück den Schädel ein, der den Handabdruck ihrer Mutter trägt, als grausame symbolische Darstellung ihres Beharrens darauf. Um ihre idealisierte Auffassung der persönlichen Verantwortung nicht aufgeben zu müssen, rutscht sie in die Realitätsverweigerung. Selbst nachdem sie mehrere offensichtlich übernatürliche Phänomene in den Backrooms mit eigenen Augen betrachtet hat, weigert sie sich, Clark Recht zu geben. Stattdessen behandelt sie ihn weiterhin wie einen Patienten und erkennt die unerklärliche Umstände nicht an. Nach ihrer Rettung am Ende des Films spricht Mary mit Phil, einem Wissenschaftler der Firma Async. In diesem Gespräch deutet Phils Wortwahl ("Could you establish how you got in here?") an, dass sie sich noch in den Backrooms befinden; selbst nachdem Mary preisgibt, dass sie glaubt, nicht mehr in den Backrooms zu sein ("You've been there?"), passt Phil seine Rede an, um ihre Annahme nicht zu widersprechen.

Also: letztendlich verschlingen die Backrooms die beiden Protagonisten und verwandeln auch sie in zwei unterschiedliche unmenschliche Geschöpfe, die die Entgegensetzung ihrer zwei Sichtweisen unterstreichen. Clark wird zu einem aggresiven, zerstörerischen Scheusal, was seine Feindlichkeit gegenüber der absurden und ungerechten Welt widerspiegelt, und Mary hingegen zu einem der passiven, gesichtslosen, nichtsfühlenden Wesen, die Clark gern zerstückelte, was ihrer Weigerung entspricht, die groteskte Realität anzuerkennen.

Was bietet denn der Film für alternative Sichtweisen? Phil ist der einzige Character, der im Film die Backrooms betretet, und sie nicht erlegen ist, was gutes Licht auf seine Fähigkeit wirft, die Situation zu bewältigen. Was genau er für eine Sichtweise vertretet, bin ich mir aber nicht sicher. Andrerseits ist er ein bereitwilliges Teil des amoralischen bürokratischen Apparats, der die Backrooms erzeugt hat, also vielleicht ist er gar nicht als Vorbild zu bewundern.

Ähnlichkeit mit KI-generierten Inhalt

Nur noch eine Bemerkung. Die Backrooms ähneln sich auffälligerweise zum wachsenden Phänomen von KI-generierten Inhalt im Internet. Vor er seine KI-Inhalt-Richtlinien verändert hat, war der Subreddit r/InteriorDecorating beispielsweise mit KI-generierten Bilder überflutet, die so absurde Details enthalten, dass sie in den Backrooms tatsächlich sehr gut reingepasst hätten:

Darüber hinaus könnte Clarks Beschreibung der Backrooms und ihrer Einwohner sogar eine ausdrückliche Anspielung auf KI-halluziniertes Inhalt sein:

“Who are these people?”
"This place builds them. Well, actually, more like it remembers them. And the more time it remembers something, the less it does. Somewhere out there is a guy in a striped shirt, but in here he's remembered, just slightly wrong. Somewhere out there is a man with a wheelchair and a lamp... Pretty sure that's how you get all of this, all of these places, rooms and buildings misremembering themselves..."
"Let's talk this through..."
"In some ways, they're an improvement on the originals. For starters, they can't feel anything."

Ich bin mit dem Internet aufgewachsen und ich fühle mich da (hier?) großenteils wie zu Hause. Immer öfter lande ich aber in einer digitalen Gegend, wo alles auf den ersten Blick normal aussieht, indem sie wie das Werk eines Menschens vorkommt, aber es stellt sich nach einem genaueren Blick heraus, dass da was los ist. Ein Text ist zum Beispiel viel zu freundlich formuliert oder mit einer Unzahl an Emojis oder Geviertstrichen bestreut. Ein Mensch im Hintergrund eines Fotos hat zu viele Finger, oder ihm fehlt ein deutliches Gesicht. Zwei Exemplare der gleichen Buchstabe in einer Infografik sehen etwas anders aus, obwohl sie der gleichen Schriftart sein sollen. Manchmal begegnete ich sogar KI-Slop in der echten Welt, zum Beispiel in einer Werbung auf einer Plakatwand.

Backrooms gelingt es, fast das gleiche unheimliche und beunruhigende Gefühl zu erwecken, als ich erlebe, wenn ich auf KI-generierte Bilder oder Videos ungewollt stolpere. Diese zwei Werke sind die einzige, die ich bisher gefunden habe, die diese besondere moderne Art des Grauens getreu nachbilden.

Vor ein paar Jahren, als ich als Lehrassistent für einen Numerikkurs auf UNM arbeitete, musste ich bei vielen Gelegenheiten mehreren verwirrten Studierenden die Normalengleichungen erläutern, also die modifizierte Matrix-Vektor-Gleichung $A^\ast A \mathbf{x} = A^\ast\mathbf{b}$, durch der man die Least-Squares-Lösung einer überbestimmten Gleichung $A\mathbf{x} = \mathbf{b}$ rechnet, wenn keine exakte Lösung zu finden ist. Es gibt tatsächlich eine schöne und einfache geometrische Erläuterung sowohl für diese Gleichung als auch für die etwas geheimnisvoll aussehende Pseudoinverse $(A^\ast A)^{-1} A^\ast$ einer Matrix.

Kürzlich ist mir eingefallen, als ich noch mal auf dieses Thema in einem Statistikkurs zurückgekommen bin, dass ich diesen Gedankengang nicht einmal niedergeschrieben habe. Ob oder wie sehr diese Intuition den Studierenden tatsächlich geholfen hat, bin ich immer noch nicht ganz sicher, aber in diesem Blogeintrag lege ich sie schriftlich dar, selbst wenn nur für meinen Eigenbedarf.

Die Least-Squares-Lösung zur Gleichung $A\mathbf{x} = \mathbf{b}$ ist, per Definition, der Vektor $\mathbf{x}^\ast$, der die Distanz $\lVert A\mathbf{x} - \mathbf{b}\rVert_2$ minimiert. Natürlich ist es nicht (unbedingt) eine Lösung der Gleichung $A\mathbf{x} = \mathbf{b}$, da $\mathbf{b}$ sich vielleicht überhaupt nicht im Spaltenraum der Matrix $A$ sitzt. Die entscheidende Einsicht zur Rechnung der Least-Squares-Lösung lautet, dass der Fehlervektor $A\mathbf{x} - \mathbf{b}$ orthogonal zum Spaltenraum $\text{col}(A)$ sein muss.

In einer zweidimensionalen Ebene kann mann diese Tatsache ganz intuitiv auf einen Blick erfassen. Stell dir mal vor, dass $\mathbf{y}=A\mathbf{x}$ die Projektion von $\mathbf{b}$ in den Spaltenraum von $A$ ist, damit $\mathbf{b}-\mathbf{y}$ dazu orthogonal ist, und dass $\mathbf{y}'=A\mathbf{x}'$ ein anderer Punkt im Spaltenraum von $A$ ist, also ein alternativer Kantidat für die Least-Squares-Schätzung. Dann sieht die Situation so aus:

Mithilfe des Satzes des Pythagoras können wir folgern, dass $\lVert \mathbf{b}-\mathbf{y}' \rVert^2 = \lVert \mathbf{b}-\mathbf{y} \rVert^2 + \lVert \mathbf{y}-\mathbf{y}' \rVert^2$ und deshalb, dass $\lVert \mathbf{b}-\mathbf{y}' \rVert > \lVert \mathbf{b}-\mathbf{y} \rVert$, also $\mathbf{y}'$ steht tatsächlich ferner vom Zielpunkt $\mathbf{b}$ als $\mathbf{y}$.

Also: wenn $\mathbf{x}$ die wahre Least-Squares-Lösung ist, dann soll $A\mathbf{x} - \mathbf{b}$ orthogonal zu $\text{col}(A)$ sein. Das heißt: $A\mathbf{x} - \mathbf{b}$ muss orthogonal zu jeder Spalte von $A$ sein. Durch Linksmultiplikation mit der Matrix $A^\ast$ rechnet man das Skalarprodukt von einem Vektor mit jeder Spalte von $A$, was genau der Nullvektor produzieren soll, wenn dieser Eingabevektor orthogonal zu jeder Spalte von $A$ ist. Deshalb erfüllt die Least-Squares-Lösung die folgende Gleichung: $$A^\ast (A\mathbf{x} - \mathbf{b}) = \mathbf{0}$$ oder: $$A^\ast A\mathbf{x} = A^\ast\mathbf{b}$$ Beachte, dass selbst wenn $A$ keine Quadratmatrix ist, also die Dimensionen $m\times n$ mit $m\neq n$ hat, muss $A^\ast A$ die dimensionen $n\times n$ haben, also eine Quadratmatrix sein. Wenn $A^\ast A$ zudem eine invertierbare Matrix ist, also wenn die Spalten von $A$ linear unabhängig sind, dann können wir weiterhin folgern: $$\mathbf{x}^\ast = (A^\ast A)^{-1} A^\ast \mathbf{b}$$ Deshalb nennt man die Matrix $(A^\ast A)^{-1} A^\ast$ die Pseudoinverse von $A$: wenn $A$ invertierbar ist ergibt Linksmultiplikation mit der Inverse $A^{-1}$ die Lösung zur Gleichung $A\mathbf{x} = \mathbf{b}$, aber wenn $A$ gar keine Quadratmatrix ist aber vollen Spaltenrang hat, dann ergibt Linksmultiplikation mit $(A^\ast A)^{-1} A^\ast$ die Least-Squares-Lösung der selben Gleichung. Wenn $A$ invertierbar ist stimmen diese Definitionen natürlich überein, da der Ausdruck $(A^\ast A)^{-1} A^\ast$ in diesem Fall auf $A^{-1}$ simplifiziert werden kann.

In letzter Zeit bin ich absolut beschäftigt und zerstreut, sowohl geistig als auch materiell. Letztes Jahr habe ich mich für einen Masterprogramm in Computerlinguistik an der Universität Tübingen beworben und vor fast einem Monat bin ich mit meiner Frau nach Deutschland gezogen und seit der Abreise ist unserer Alltag komplett umgeworfen. Trotzdem habe ich es nicht inzwischen geschafft, meine Hobbyprojektsucht einzuschränken, um an meine reduzierte und unregelmäßigere Freizeit anzupassen...

Deshalb wird dieser Blogeintrag sehr knapp sein und im Grunde nur aus ein paar Rätsel bestehen. Sie sind im Format der Latin-Square-Rätsel aus dem deutschen TestAS. In einem solchen Rätsel bekommt man eine 5x5 Matrix, in der viele Kisten leer sind, einige Kisten eine Buchstabe zwischen A und E enthalten, und eine Kiste das Fragezeichen "?" enthält. Vorausgesetzt, dass die ausgefüllte Kisten Teil eines lateinischen Quadrats sind, in dem jede Buchstabe A-E genau einmal in jeder Reihe und in jeder Spalte vorkommt, soll man logisch den passenden Buchstabe für die mit dem Fragezeichen markierten Kiste folgern.

Folgendes ist ein einfaches Beispielrätsel von der TestAS-Webseite:

Man sollte diese Rätsel ziemlich schnell lösen können, und zwar ohne Schmierpaper, sondern nur dem eigenen Gedächtnis. Natürlich fragte ich mich wie schwer solchen Rätsel sein können (wenn man sich auf nur 5x5 Latin-Squares beschränkt, also nichts Größeres). Dazu schrieb ich eine Haskellfunktion, um solche Rätsel durch Folgen von atomischen logischen Folgerungen zu lösen, und danach noch eine Funktion, um nach Rätsel stichprobenartig zu suchen, die "schwer zu lösen" für sie waren. Hier unten sind einige von ihnen.

(Ich frage mich, ob sich einige von ihren Lösungen trotzdem sehr knapp bewiesen lassen, wenn man besonders kreativ/schlau denkt.)

Puzzle 1

Puzzle 2

Puzzle 3

Puzzle 4

Puzzle 5

Puzzle 6

Puzzle 7

Puzzle 8

Puzzle 9

A few weeks ago I was craving a math puzzle but feeling uninspired, so I turned to the Equational Theories project for ideas. The project (which has now come to an end) aimed to prove as many implications as possible between algebraic identities of binary operations by crowdsourcing proofs written in the Lean programming language. In its completed state, the project is not only an incredible accomplishment but also a great source of mathematical chestnuts.

I settled on spending some time exploring central groupoids, which are defined as magmas (i.e. sets equipped with a binary operation $\cdot$) satisfying the following law: $$(x\cdot y)\cdot (y\cdot z) = y$$ For intuition, there's a whole family of easy-to-comprehend central groupoids that can be defined on sets of ordered pairs $A^2 = A\times A$. On a set of this form, the operation defined by $(x_1,x_2)\cdot (y_1,y_2) = (x_2, y_1)$ automatically satisfies the central groupoid law. Central groupoids of this form are called natural central groupoids. Part of the intrigue of central groupoids is that it's kind of tricky to exhibit families of non-natural central groupoids that are as intuitive as the natural ones. Even non-natural central groupoids have several properties that are loosely analogous to the central ones: for instance, all finite central groupoids have a perfect square number of elements (which we will prove later).

Digraph, matrix and powerset representations

Central groupoids can also be understood as a special kind of directed graph. If $D$ is a digraph with the property that any two vertices $v,w\in V(D)$ have a unique directed path of length 2 between them, then a binary operation $\cdot$ can be defined on $V$ such that $v\cdot w$ is the intermediate vertex on that unique path, that is, the unique vertex such that $v\to v\cdot w \to w$ in the graph $D$. It follows that this binary operation satisfies the central groupoid law: if $x,y,z\in V(D)$, then $x\cdot y\to y$ and $y\to y\cdot z$ are both edges, meaning that $y$ is intermediate on a path of length 2 between $x\cdot y$ and $y\cdot z$.

Conversely, every central groupoid arises from a digraph in this way, and given a central groupoid $C$ we can construct a digraph $D$ giving rise to it. Simply let the vertices $V(D)$ consist of the elements of $C$, and for each vertex $v\in V(D)$, let there be an edge joining $v\to v\cdot w$ for each $w\in V(D)$. This graph is guaranteed to have the uniqueness property of length-2 paths: if $v\to x\to w$ for some $v,w,x\in V(D)$, then we must have that $x = v\cdot v'$ and $w = x\cdot w'$ for some $v'$ and $w'$, implying that $(v\cdot v)\cdot x = v$ and hence $v\cdot w = x$, meaning that all intermediate elements on a length-2 path from $v$ to $w$ must equal $v\cdot w$.

Digraphs $D$ can also be represented by incidence matrices $M$, that is, sets of 0s and 1s such that a value of 1 in row $i$ and column $j$ indicates and edge $i\to j$ in the digraph. The length-2 path uniqueness property in the digraph $D$ for a central groupoid has a neat translation into matrix language: it's equivalent to $M^2 = J$, where $J$ is a matrix of all 1s. So central groupoids also correspond to zero-one matrices whose square is the identity matrix.

When working with concrete examples by hand, I find a different representation of central groupoids more convenient, since drawing out digraphs gets messy very quickly. A central groupoid $C$ can also be represented by a function $f: C\to \mathcal P C$ — that is, an assignment of a subset of $C$ to each element of $C$ — with the special property that for each subset $f(x)\subset C$, the set ${f(y) ~ : ~ y\in f(x)}$ comprises a partition of $C$. In terms of the central groupoid operation, the set $f(x)$ would be the set of all left-images of $x$, that is, the set of values $x\cdot y$ for $y$ ranging over $C$. In terms of the digraph representation $D$ for the central groupoid $C$, for a vertex $v\in D$, the value $f(v)$ would give the set of all vertices that are the target of an edge originating from $v$.

There's only one central groupoid of order 4, namely the natural one, so let's look at a couple concrete examples of order 9. Here's how I visualize the natural central groupoid of order 9. On the right is a table describing the function $f$, which maps each $x\in C$ to a subset of $C$. On the left is how I picture the digraph representation of $C$ without drawing a tangled mess of edges: for each vertex, the color of the vertex indicates that it should have directed edges pointing to each vertex in the set of the same color. For instance, $v_1$ has outward-pointing edges $v_1\to v_1$, $v_1\to v_2$ and $v_1\to v_3$ because it is red, and the red-colored group contains vertices $v_1,v_2,v_3$.

Values of the central groupoid operation can be read off from these diagrams. To compute, for instance, $v_1\cdot v_5$, you can follow these steps:

• identify the vertices that $v_1$ points to (they are $v_1,v_2,v_3$)
• identify which of those vertices points to $v_5$ ($v_2$ does, since it is orange and $v_5$ is in the orange group)
• this vertex $v_2$ is the value of $v_1\cdot v_5$

Here's an example of a central groupoid of order 9 that is not natural:

You can check for yourself that it satisfies the required property, namely that for each 3-element set of elements ${x,y,z}$, the collection of sets ${f(x),f(y),f(z)}$ comprises a partition of ${1,2,\cdots,9}$. Note that there are only two distinct partitions to chosoe from here.

Cardinality and idempotent elements of a finite central groupoid

We shall see that each element $\alpha$ of a finite central groupoid $C$ determines a "local coordinate system" for $C$, and that consequently $C$ must have a perfect square number of elements.

Let $\alpha\in C$ be an arbitrary element of a central groupoid. Let the set of left-images of $\alpha$ be denoted $\alpha\cdot C$, and let the set of right-images of $\alpha$ be denoted $C\cdot \alpha$. In a natural central groupoid of order $n^2$, the set $\alpha\cdot C$ would consist of all points of the form $(\alpha_2, -)$ and $C\cdot \alpha$ would consist of all points of the form $(-,\alpha_1)$, so that each would have precisely $n$ points. Although a non-natural central groupoid does not come equipped with such a global coordinate representation, it remain the case in these central groupoids that $\alpha\cdot C$ and $C\cdot \alpha$ have the same number of elements. In particular, we have the following bijection $\alpha\cdot C \simeq C\cdot \alpha$: $$\begin{align*}g_\alpha ~ &: ~ x \mapsto x\cdot\alpha \\ g_\alpha^{-1} ~ &: ~ x \mapsto \alpha\cdot x \end{align*}$$ To see that this is a bijection, let $x=\alpha\cdot x'\in \alpha\cdot C$ be arbitrary and observe that

$$\begin{align*}g_\alpha^{-1}(g_\alpha(x)) &= \alpha\cdot (x\cdot \alpha) \\ &= \alpha\cdot ((\alpha\cdot x')\cdot \alpha) \\ &= ((x'\cdot\alpha)\cdot (\alpha\cdot x'))\cdot ((\alpha\cdot x')\cdot \alpha) \\ &= \alpha\cdot x' \\ &= x \end{align*}$$

Since $C$ is a finite set, this is sufficient to conclude that $g_\alpha$ and $g^{-1}_\alpha$ as defined are inverses.

Knowing that $|\alpha\cdot C| = |C\cdot \alpha|$, we are ready to prove that $C$ must have cardinality a perfect square, and in the process derive a "local coordinate system" for $C$ based on the element $\alpha$. To accomplish this, we can exhibit a very simple bijection between $C$ itself and the set $(\alpha\cdot C)\times (C\cdot\alpha)$, namely the mapping $x\mapsto (\alpha\cdot x, x\cdot\alpha)$ with inverse mapping $(y_1,y_2)\mapsto y_1\cdot y_2$. The fact that these mappings are inverses follows directly from the central groupoid law and the finiteness of the set $C$. This establishes immediately that $|C| = n^2$, where $n = |\alpha\cdot C| = |C\cdot\alpha|$.

We can also prove that a central groupoid $C$ of order $n^2$ has precisely $n$ idempotent elements, that is, elements $x$ satisfying $x\cdot x = x$. This property is easiest to prove using the matrix representation $M$ for the central groupoid. The rows and columns of $M$ correspond to elements of $C$ or nodes of the corresponding digraph $D$, and idempotent elements correspond to loops of the digraph, or diagonal entries of $M$. Hence the number of idempotents is equal to the trace $\text{tr}(M)$. This trace can be computed directly as the sum of the eigenvalues of $M$. Since $M^2 = J$, and $J$ has characteristic polynomial $(\lambda - n^2)\lambda^{n^2-1}$, meaning that $M$ has characteristic polynomials $(\lambda - n)\lambda^{n^2-1}$ and trace $\text{tr}(M) = n$.

The more than 3000 central groupoids of order 16

There are precisely 6 central groupoids of order 9 up to isomorphism. It isn't difficult to enumerate them by hand with a bit of patience. But if we move on to the central groupoids of order 16, the number of possibilities explodes. (As far as I'm aware, nobody in the mathematical literature has successfully enumerated the 16-element central groupoids yet, even with computer assistance.)

The problem of determining whether two binary operations on finite sets of the same cardinality are isomorphic is in general very computationally intensive. For two sets of order $N$, there are $N!$ different bijections between the two sets, each of which is a possible isomorphism to be confirmed or ruled out. However, depending on the nature of the binary operation and its properties, the problem can sometimes be simplified considerably.

In the case of central groupoids, the idempotent elements can be used to simplify the process of checking isomorphism. We know that any central groupoid with $n^2$ elements must have precisely $n$ idempotent elements. As a consequence of this fact, the idempotent elements of any central groupoid must generate the entire central groupoid, since the sub-central-groupoid generated by those elements must also be a central groupoid with at least $n$ idempotent elements (namely the generators themselves). Hence, any isomorphism between two central groupoids is completely determined by its action on the idempotent elements. That narrows down the number of bijections that need to be checked from $N!$ to $(\sqrt N)!$. The latter still grows quite fast as a function of $N$, but for smaller values of $N$, this trick can be a huge help: for example, in the case of $N=16$, it's the difference between checking $16!\approx 2.1\times 10^{13}$ bijections and only $4!=24$. Note that this also simplifies the problem of finding the symmetry group of central groupoids, and it implies that the symmetry group of a central groupoid of order $n^2$ is a subgroup of $S_n$.

I've identified 3,471 nonisomorphic central groupoids of order $4^2=16$ using an algorithm that produces novel central groupoids by making small tweaks to existing ones. Unfortunately, I'm not sure whether my method produces all possible central groupoids of order $16$, but (purely conjecturally) I believe that it does. Furthermore, my code, written in Haskell, is not formally verified. (You can check it out in this Gist if you want, or you can explore this JSON data listing the central groupoids I found and some of their properties.) So any of my comments below about the results of this number crunching can be taken with a grain of salt.

One interesting property of central groupoids to consider is the symmetry group, that is, its group of automorphisms (bijective operation-respecting functions). As mentioned earlier, any isomorphism of central groupoids of order $n^2$ is determined by its action on the $n$ idempotent elements (since they generate the whole set), so it suffices to characterise how these automorphisms permute these elements. For central groupoids of order $16$, it is pretty easy to calculate automorphism groups. For the 3,471 nonisomorphic central groupoids that I found, here's the breakdown of symmetry groups. As you can see, the overwhelming majority have no nontrivial symmetries at all, but a few exceptional ones have more interesting symmetry groups.

Another interesting statistic: of the more than 3,000 central groupoids that I found, only 33 are self-dual, meaning that they are isomorphic to the central groupoid you get by reversing the order of the operation (or reversing the edges in the corresponding digraph, if you prefer). This makes self-duality a shockingly rare property.

A few more intriguing finds among the $16$-element central groupoids that I enumerated include the following:

• There are 7 central groupoids for which every non-idempotent generates a sub-central-groupoid of order 4.
• There is precisely 1 central groupoid for which every non-idempotent generates the entire set.
• There are an additional 25 central groupoids for which all but 2 of the non-idempotent elements generate the entire set.
• There are 1043 central groupoids in which no two elements give rise to the same system of "local coordinates".
• There are 52 central groupoids (including the natural one) in which every element can be written as a product of 2 idempotents.
• There are 30 central groupoids in which there are 13 distinct left-image-sets $\alpha\cdot C$, and none with more than 13.

In diesem Blogeintrag wollte ich einfach ein Ergebnis von der Realanalyse mitteilen, die ich für sehr unintuitiv halte. Es lautet, dass es Funktionen $f:\mathbb R^+\to\mathbb R$ gibt, die alle Polynomfunktionen vernichten, also orthogonal zu jeder Polynomfunktion sind, bezüglich des $L^2$-Skalarprodukt. Das heißt, es gibt Funktionen $f:\mathbb R^+\to\mathbb R$, für die gilt $$\int_0^\infty f(x) \cdot P(x) ~ dx = 0$$ für jedes Polynom $P$. Anders gesagt gilt folgendes für alle $k\in\mathbb N$: $$\int_0^\infty f(x)\cdot x^k ~ dx = 0$$ Überraschenderweise ist es ziemlich einfach, die Formel einer bestimmten Elementarfunktion vorzulegen, die diese seltsame Eigenschaft erfüllen. Die folgende Integralformel gilt für alle $\alpha\in\mathbb C$ bei denen $\text{Re}(\alpha) > 0$: $$g_n(\alpha) = \int_0^\infty x^n e^{-\alpha x} ~ dx = \frac{n!}{\alpha^{n+1}}$$ Wenn man $\alpha$ die Werte von komplexen Einheitswurzeln annehmen lässt, dabei stellt sich heraus, dass besondere Linearkombinationen von verschiedenen Werten von $f_n(\alpha)$ den Wert Null annehmen für alle $n$ die einer bestimmten Teilfolge von $\mathbb N$ gehören. Zum Beispiel, jede vierte Wert von $\zeta_8^n + \zeta_8^{-n}$ ist Null, weil $\zeta_8^{8n+2}=+i$ und $\zeta_8^{-(8n+2)}= -i$. Deshalb gilt $$\frac{g_{4n+1}(\zeta_8) + g_{4n+1}(\zeta_8^{-1})}{2} = \int_0^\infty x^{4n+1} e^{-x/\sqrt{2}}\cos\big(x/\sqrt{2}\big) ~ dx = 0$$ Nach einem zusätzlichen Ersatz in diesem Integral, ergibt sich, dass $$\int_0^\infty \frac{e^{-\sqrt[4]{x}}\cos(\sqrt[4]{x})}{\sqrt x}\cdot x^k ~ dx = 0$$ Die gleiche Methode bringt noch weitere Beispielfunktionen hervor:

$$\begin{align*} f(x) &= \frac{e^{-\sqrt{3} \sqrt[6]{x}}\cos(\sqrt[6]{x})}{\sqrt{x}} \\ f(x) &= \frac{e^{-(\sqrt{2}-1) \sqrt[8]{x}}\cos(\sqrt[8]{x})}{\sqrt{x}} \\ f(x) &= \frac{e^{-(2-\sqrt{3}) \sqrt[12]{x}}\cos(\sqrt[12]{x})}{\sqrt{x}} \\ \end{align*}$$

Natürlich erfüllen auch lineare Kombinationen von diesen Funktionen die gleiche seltsame Eigenschaft; das heißt, die Menge von allen integrierbaren Funktionen $f:\mathbb R^+\to\mathbb R$, die orthogonal zu jedem Polynom sind, ist ein Vektorraum. Es ist nämlich der Nullraum des Operators $$f ~ \mapsto ~ \bigg\langle\int_{0}^\infty f(x) \cdot x^k ~ dx\bigg\rangle_{k\in\mathbb N}$$ Die Existenz solcher Beispielfunktionen ist sogar überraschender, in Anbetracht der Tatsache, dass es keine derartige Funktionen im Vektorraum von integrierbaren Funktionen auf dem Interval $[0,1]$ anstatt $[0,\infty)$ gibt, dessen Nichtexistenz eine Konzequenz des Satzes von Stone-Weierstrass ist. Wenn eine Funktion $f:[0,1]\to\mathbb R$ orthogonal zu jedem Polynom auf dem Interval $[0,1]$ wäre, dann wäre auch $\langle f, P\rangle =0$ für jedes Polynom $P$, weshalb es im Widerspruch zum Satz von Stone-Weierstrass unmöglich wäre, $f$ durch Polynomfunktionen zu approximieren.

Diesem Resultat entspricht auch ein diskretes Gegenstück. Es existieren auch unendlichen Folgen $(a_n)$ von Realzahlen, die ally Polynomfolgen $(n^k)$ vernichten bezüglich des $\ell^2$-Skalarproduktes, damit folgendes gilt für jede $k\in\mathbb N$:

$$\sum_{n=1}^{\infty} a_n\cdot n^k = 0$$

Diese Folgen bilden auch einen Vektorraum, der der Kernraum von einer unendlichen Vandermonde-Matrix sind, was sogar erstaunlicher ist, weil alle endliche Vandermonde-Teilmatrizen von dieser Matrix voller Rang sind, also einen nulldimensionale Kernraum besitzen:

$$\begin{bmatrix}1 & 1 & 1 & 1 & \cdots \\ 1 & 2 & 3 & 4 & \cdots \\ 1 & 2^2 & 3^2 & 4^2 & \cdots \\ 1 & 2^3 & 3^3 & 4^3 & \cdots \\ \cdots & \cdots & \cdots & \cdots & \end{bmatrix}\begin{bmatrix}a_1 \\ a_2 \\ a_3 \\ a_4 \\ \cdots\end{bmatrix} = \mathbf{0}$$

Es ist schwerer, die Existenz solcher Folgen zu beweisen, doch man kann sich die früher erwähnte polynomvernichtende Funktionen $f:\mathbb R^+\to\mathbb R$ zunutze machen, um Beispielfolgen zu produzieren. Sei $f$ eine bestimmte polynomvernichtende Funktion $f:\mathbb R^+\to\mathbb R$ und sei bestimmt eine komplexe Funktion $\phi_f$ durch die folgende Formel, wo $z\in \mathbb C$ die Ungleichung $\text{Re}(z) < 1$ erfüllt:

$$\phi_f(z) := \int_0^\infty f(x) \cdot e^{-x(1-z)} ~ dx$$

Diese Formel definiert eine analytische Funktion $\phi_f$ in der ganzen Kreisscheibe $|z| < 1$, weshalb folgt es, dass $\phi_f$ eine konvergente Potenzreihe innerhalb dieser Kreisscheibe besitzt:

$$\phi_f(z) = \sum_{n=0}^\infty \frac{\phi_f^{(n)}(0)}{n!}\cdot z^n$$

Durch die Formel, damit $\phi_f$ definiert wurde, kann man beweisen, dass sich sowohl $\phi_f$ als auch alle ihrer Ableitungen $\phi_f^{(k)}$ dem Nullwert annähern als $z\to 1$:

$$\lim_{z\to 1}\phi_f^{(k)}(z) = k!\int_0^\infty f(x)\cdot x^k ~ dx = 0$$

Das ist selbst zwar ein ziemlich ungewöhnliches Grenzverhalten von einer analytischen Funktion, doch darüber hinaus kann man daraus folgern, dass die Koeffizientenfolge $a_n = \phi_f^{(n)}(0)/n!$ zu jedem Polynom orthogonal ist, denn

$$\lim_{z\to 1}\phi_f^{(k)}(z) = \sum_{n=0}^\infty a_n\cdot n(n-1)\cdots (n-k+1) = 0$$

und jene Familie von Polynomen $n(n-1)\cdots (n-k+1)$ spannt den ganzen Vektorraum von Polynomfunktionen auf. Deshalb ergibt sich die folgende Formel für eine Beispielsfolge $(a_n)$ mit der Eigenart, für die wir uns interessieren:

$$a_n := \frac{1}{n!}\int_0^\infty f(x) \cdot x^n e^{-x} ~ dx$$

Soweit ich weiß gibt es keine schöne analytisch geschlossene Formel für eine zu jedem Polynom orthogonale Folge $(a_n)$. Die Thue-Morse Folge bekommt doch eine "ehrenvolle Erwähnung": obwohl die unendliche Summe von $\sigma(n)\cdot n^k$ gar nicht konvergent ist, trifft ihre Folgen von Partialsummen den Nullwert unendlich oft. Insbesondere gilt $$\sum_{n=1}^{m\cdot 2^{k+1}} \sigma(n)\cdot n^k = 0$$ für jede $m,k\in\mathbb N$, der an und für sich auch eine sehr sonderbare eigenschaft ist!

Lately I've been an active contributor to Tatoeba, a huge open-source collection of parallel sentences in many different world languages. Aside from being an amazing resource for the languages I'm studying, it's given me exposure to languages that I didn't even know existed before, and it's also a great dataset for NLP projects.

I've been mulling over the following question: given a bunch of example sentences translated into your own language, would it be possible to algorithmically deduce translations for individual lexemes/morphemes? When done manually, this task is fairly simple. For instance, I don't know any Hungarian, but if I were given the following Hungarian translations of English sentences:

...then after staring at these sentences for a while, I would be able to guess that the word for water in Hungarian is víz without any prior knowledge. This is because the only thing in common between the English sentences is the word water, whereas for the Hungarian sentences it seems to be víz or viz (sometimes with additional prefixes/suffixes). In fact, I would also be willing to guess that ivóvízzel means drinking water.

Really, all I did was look at these sentences, find some common subsequences of characters, and make a heuristic judgment about what the most likely translation of the word water would be. This process seems like it should be susceptible to automation, so I gave it a try!

Most of the NLP tools and algorithms that I've learned about are for processing text at the word/morpheme level, and presuppose a tokenizer/lemmatizer/stemmer for the target language. This task, however, occurs at the character level and concerns how we discover lexemes/morphemes in the first place. I'm not familiar with many NLP techniques that work at this low of a level, so this problem has been a very fun challenge!

Below, I explain my approach and discuss some of its current weaknesses.

But first, a little eye candy!

Given a list of sentences in a target language with a word/phrase/substring in common between their English translations, my code calculates a kind of "heatmap" on each sentence, assigning each position in the sentence a score between 0 and 1 quantifying its local similarity to other sentences. We can visualize the results for specific sentences by graphing the scores by character index. Here's an example in Hungarian, generated when searching for a translation of the word water:

I also have a utility for visualizing this "relevance score" by highlighting segments of sentences in the target language with varying levels of saturation. Here's what this looks like for the same example in Hungarian:

Candidate words can be obtained from sentences by extracting segments containing the highest scores. By defining a custom string distance metric on the extracted strings and performing hierarchical clustering, we can also obtain a heuristic grouping of the words into clusters comprising possible lexemes. These clustered words or word forms can then be visualized as a dendrogram. Here's a dendrogram output by my code for the same example in Hungarian:

Although most of my test runs have used parallel sentences from Tatoeba, data can be ingested from any TSV-formatted file of parallel sentences. I was also able to import some data in Kannada (a Dravidian language spoken in India) from the Anuvaad Parallel Corpus and test out my algorithm on it. Here's the resulting dendrogram when I asked it to infer possible translations for the word beautiful:

Jump to the end of the post for a huge table of examples showing lexeme guesses for a few very common words in several different languages. Though my code is still pretty rough around the edges, I'm very happy with how the results are coming out so far, and I wonder if it has the potential to be developed into something more sophisticated like an unsupervized best-effort lemmatizer for languages lacking established lemmatization tools.

If you're interested, you can check out my code in a Jupyter notebook here on Github. I encourage you to play around with it! Parallel sentence data from several sample languages is included in the repo, so no additional downloads (aside from Python packages) should be necessary.

Now, here's a more in-the-weeds description of my approach.

The problem under consideration is as follows: given a bunch of sentences in language $L$ whose translations contain a certain word $w$ (or more generally, matching a certain regex), produce one or more "candidate morphemes" in the language $L$ that might serve as translations of $w$. I'm calling this problem "unsupervised" because I'm not using ground truth data (such as dictionaries in various languages) to train any sort of model to recognize words.

My first thought was to use an n-gram model to analyze common sequences of characters in example sentences. Given a set $S$ of sentences in language $L$ with translations containing the target word $w$, we could tabulate the frequencies of 2-grams or 3-grams among those sentences. Then the "hottest" substrings in each sentence could be identified as the ones containing more high-frequency n-grams on average.

I implemented this approach and it worked shockingly well for many languages. However, there was a huge drawback for languages like Arabic and Hebrew that have non-contiguous word roots. For instance, in Hebrew, the word for to read has the 3-letter root קרא, and conjugating this verb sometimes involves inserting letters in between: he reads becomes קורא, inserting the letter ו. This is a big problem for the n-grams approach, because when scoring these words in a collection of sentences, the 2-grams קר and קו would compete with each other in the 2-gram frequency count, causing different conjugations of to read to detract from each others' scores.

My immediate next thought was to use an generalized version of n-grams called "skip-grams", in which both contiguous and non-contiguous letter combinations are tabulated, e.g. there might be a frequency category not only for the substring קר, but also an additional category for occurrences of ק and ר separated by one or fewer characters, or by two or fewer characters, and so on. The problem with this approach is that the number of possible categories grows very quickly and it's not obvious what kind of scoring system should be used to take them all into account.

The idea I'm about to describe occurred to me at around midnight one night, and I ended up staying up until about 3am frantically coding up a proof-of-concept - I had to know if it would work! Vector embeddings were fresh in my mind because of a recent online course in NLP, but I had never seen a vector embedding technique applied to individual characters rather than words.

Say $C$ is the set of all characters in the language $L$. These characters might be normalized to avoid distinguishing characters that are "really the same", e.g. capitalized versus lowercase versions of the same letter, or accented versus non-accented variants, etc. Each character $c\in C$ is assigned a unit vector $\phi(v)\in \mathbb R^d$ where $d$ is the dimension of the embedding. These embeddings should either assign orthogonal vectors to different characters (in which case we must have $d\ge |C|$) or very nearly orthogonal vectors to different characters (in which case you can often do with fewer than $|C|$ dimensions). This ensures that different characters are handled independently.

Once we have a character embedding, we define a way of embedding pairs of characters separated by a certain number of indices in a string. This can be defined by a function $\psi:C^2\times {0,\cdots,\ell}\to\mathbb R^d$, where $\psi(c_1,c_2,j)$ is the embedding for $c_1$ followed by $c_2$ after $j$ characters, and $\ell$ is the "lookahead value" determining the maximum level of separation represented by the embedding. I've experimented with a few different options for this embedding, but the general idea is that $\psi(c_1,c_2, i)$ and $\psi(c_1,c_2, j)$ should be somewhat similar to each other, especially when $i,j$ are close, in order to allow embeddings of the same character $c_2$ in slightly different positions after $c_1$ to "constructively interfere" with each other. In this way, $\psi$ acts sort of like a "fuzzy" n-grams frequency table that avoids huge proliferation of frequency categories by allowing some of them to conflate with each other. Further, $\psi(c_1,c_2,i)$ and $\psi(c_1,c_3,j)$ should be orthogonal or near-orthogonal when $c_2\ne c_3$.

One option I've tried has been $$\psi(c_1,c_2,j) := \cos\Big(\frac{\pi j}{2\ell+1}\Big)\phi(c_2)$$ and another is the following, where $U$ is a unitary matrix that is close to the identity and $\alpha < 1$ is some constant: $$\psi(c_1,c_2,j) := (\alpha U)^j \phi(c_2)$$ Both of these work pretty well, but I suspect that the results can be improved by more intelligently designing the function $\psi$, and this is a detail I want to continue experimenting with.

Next, we define a function $\Psi$ such that $\Psi(i, s)$ gives an embedding combining the character pair embeddings $\psi(s[i], -, -)$ for several of the characters following $s[i]$, up to the character $s[i+\ell]$ at the lookahead threshold: $$\Psi(i, s) := \sum_{j=i}^{i+\ell} \psi(s[i], s[j], j-i)$$ And then, given a whole collection of sentences $S$, we define a combined embedding $\overline{\Psi}(c)$ that, intuitively speaking, summarizes the "average context" of the character $c$ in all of the places it appears in all the sentences of $S$. It is defined as follows: $$\overline{\Psi}(c, S) := \frac{1}{1+\tfrac{|S|}{|\{s\in S: ~ c \in s\}|}}\cdot\sum_{s\in S}\sum_{s[j] = c} \frac{\Psi(j, s)}{\#(c, s)}$$

This is an average of all of the embeddings $\Psi(j, s)$ of the positions where the character $c$ appears across all sentences, averaged across different appearances of the character $c$ in each sentence $s$. Making this an average rather than a sum is vital, both because it prevents extremely long sentences from affecting these embeddings disproportionately, and because it prevents high-frequency characters from having much larger embeddings in general. It is also multiplied by a scaling factor punishing characters that occur only in a small number of the sentences in $S$.

Finally, for each sentence $s$ in $S$, each of its characters is scored by calculating the cosine similarity of each character's local embedding in that specific sentence with its global embedding across all of the sentences in $S$. That is:

$$\text{score}(i, s) = \frac{\overline{\Psi}(c, S)\cdot \Psi(i, s)}{\lVert\overline{\Psi}(c, S)\rVert\cdot \lVert\Psi(i, s)\rVert}$$

When a character is followed by sequences of characters that frequently follow it in many of the sentences in $S$, then the vectors $\overline{\Psi}(c, S)$ and $\Psi(i, s)$ should point in similar directions, meaning that $\text{score}(i, s)$ should be larger.

In my scripts, I also apply some final post-processing to the character scores $\text{score}(i, s)$ for each sentence. For one, I scale and translate the scores into the interval $[0,1]$ by subtracting the minimum score and scaling by the difference between the min and max scores. I also smooth the scores across each sentence by taking a windowed average, and apply a power function such as $x\mapsto x^4$ because it accentuates the difference between higher and lower scores. This is how we get the "heatmap" highlighted sentences and graphs showcased earlier. Extracting the words occurring at the peaks of these graphs is how relevant words are extracted from sentences.

This technique still has several kinks that need to be worked out. For instance, in its current form, it does not distinguish subsequences that are common within a certain subset of sentences from subsequences that are common throughout the language as a whole. For that reason, the results of the above process often contain some irrelevant high-frequency strings corresponding to common words similar to the, a/an and I in English, for example. The same goes for the names Tom and Mary, which are extremely common in the Tatoeba corpus (to the point of being an inside joke of the Tatoeba community). Perhaps character scores could be modified by penalizing characters whose local embeddings are too similar to their global embedding in the language as a whole.

On a similar note, even if a certain word is not common in the language as a whole, it may co-occur very commonly with the target word. Consider for instance the words read/reads/reading and book. Naturally, they co-occur in a lot of the English sentences of the Tatoeba corpus, so that this technique might be likely to, say, mis-identify the Hungarian word for book as an appropriate translation of to read. I still haven't made up my mind about how to remedy this issue.

Finally, there is a key type of deduction that we use easily when manually inferring words' meanings, but my vector method does not take advantage of. Let me illustrate it with another example. Consider the following parallel sentences in English and Latvian. From these sentences, can you guess a translation for the word milk?

You could probably infer that pienu means milk even though it only appears in one of these sentences. This is because the remaining words in that sentence also appear in at least one of the other sentences, but milk does not appear in any of their English translations. That is, we have applied a process of elimination to deduce a translation for the word milk, which is a heuristic that my code does not (yet) attempt to use.

To sum up, the things I'd still like to improve, in brief, are:

• find a way of dealing with overrepresented named entities in the Tatoeba corpus, e.g. Tom and Mary
• penalize common letter combinations throughout the language
• come up with a way to filter out words that commonly co-occur with a target word
• incorporate an add-on that also takes into account eliminative strategies

Here's a big fat table showing my algorithm's output for a few common words in several different languages, in case you would like to get a feel for how well it works and the kinds of errors it makes. I recommend Wikitionary for looking up the meanings of these words if you want to check their definitions for accuracy.

Vor fast neun Monaten find ich an, Russisch selbst zu studieren. Anfänglich hatte ich nur vor, das russisches Alphabet und vielleicht ein paar Wörter/Namen zu lernen. Aber nachdem ich anfing, hat es nie aufgehört, sehr interessant zu sein, deswegen habe ich noch nicht damit aufgehört! Letztens bin ich bei Kapitel 22 im Buch The New Penguin Russian Course angekommen.

In diesem Blogeintrag wollte ich einige bestimmte Eigenartigkeiten von der russischen Sprache (besonders im Vergleich zu Englisch, Spanisch und Deutsch) auflisten und besprechen, die mir am interessantesten vorkamen.

Null-Kopula

In der Grammatik wird eine Kopula mehr oder weniger als ein Wort (normalerweise ein Verb) definiert, dass das Subjekt eines Sätzes mit einem anderen Substantiv identifiziert, auf eine Kategorie beschränkt, usw. (Der Ausdruck, mit dem den Subjekt identifiziert wird, heißt der "Subjektkomplement".) Zum Beispiel ist das Verb "sein" die hauptsächliche deutsche Kopula und ähnlicherweise das Verb "to be" auf Englisch.

Russisch benutzt doch eine Null-Kopula, das heißt, mann kann das Subjekt eines Sätzes mit einem anderen Substantiv oder Adjektiv ohne weiteres Wort verbinden. Hier unten gibt es ein paar Beispiele:

Manchmal benutzt man den Geviertstrich an Stelle von der Kopula, wie man hier oben im dritten Beispiel sieht. Es ist nicht der Fall, dass es kein Kopulaverb in Russisch gibt, sondern dass es einfach beim Präsens ausgelassen wird. Der Kopulaverb heißt быть und es taucht manchmal in seiner Infinitivform und in seiner Vergangenheitsform auf. Zwar hat es auch eine Präsensform aber diese hat das Futur zu bedeuten. In den meisten Fällen, wo быть auftaucht, muss den Subjektkomplement in den Instrumentalkasus gebeugt werden.

Relativ kompliziertes Kardinalzahlensystem

"Relativ kompliziert" ist eine riesige Untertreibung - ich hätte nie ahnen können, dass die Kardinalzahlen eine der kompliziertesten Aspekte der russischen Grammatik ist. Für diejenigen, die den Ausdruck "Kardinalzahl" nicht kennen: das verweist sich auf Zahlwörter, die eine Anzahl an etwas bestimmt. (Auf Deutsch zum Beispiel: "ein Apfel", "zwei Äpfel", "drei Äpfel" usw.) Das steht im Gegensatz zu Ordinalzahlen, die Position von einem Gegenstand in einer Folge. (Auf Deutsch: "erstes Kapitel", "zweites Kapitel", "drittes Kapitel" usw.)

Die Kardinalzahlwörter selbst sind nicht so kompliziert, mindestens nicht komplizierter als in anderen europäischen Sprachen. Hier unten sind einige Beispiele:

Was komplizierter ist, ist die Beugung des Wortes der Gegenstände, die zusammengezählt sind. Für die Zahl 1 und irgendeine Zahl (abgesehen von 11), dessen letzte Ziffer 1 ist, wird das Wort singular und im nominativen Kasus gebeugt. Für die Zahlen 2, 3 und 4 und irgendeine Zahl (abgesehen von 12, 13, 14), dessen letzte Ziffer eine von diesen Zahlen ist, wird das Wort auch singular aber im genitiven Kasus gebeugt. Schließlich werden im Fall von anderen Zahlen das Wort plural und im genitiven Kasus gebeugt. Also, zum Beispiel:

All das geht nur für Kardinalzahlen, die eine Nominalphrase im nominativen oder im akkusativen Kasus bilden. Wenn diese Nominalphrase in einem der anderen vier Kasus ist, dann wird sowohl die Kardinalzahl als auch das Substantiv in diesem bestimmten Kasus gebeugt. Natürlich haben die Zahlwörter selbst auch viele irregulare Kasusdeklinationen:

Für etwas so einfach und grundsätzlich wie die Aufzählung von Gegenständen ist das lächerlich kompliziert! Auf Deutsch sowohl als auf Englisch und Spanisch muss man meistens nur ein Kardinalzahlwort und ein Gegenstandswort nebeneinandersetzen.

Perfektive und imperfektive Verben

Viele Sprachen machen einen grammatischen Unterschied zwischen Ereignissen, die innerhalb eines bestimmten Zeitraums vollendet sind, und Ereignissen, die unvollendet sind. Dieser Unterschied heißt (linguistischer) Aspekt. Im ersten Fall nennt man den Aspekt perfektiv und im zweiten Fall nennt man den Aspekt imperfektiv. Folgendes ist eine Tabelle von Beispielen auf Deutsch:

In den Sprachen, die ich bis jetzt kann (Englisch, Spanisch und Deutsch) unterscheidet man perfektiven von imperfektiven Verbverwendungen durch unterschiedlichen Beugungen oder zusätzlichen Wörter (z.B. immer, jeden Tag, oft, manchmal usw). Dagegen ist jedes Verb in Russisch entweder perfektiv oder imperfektiv, das heißt, der Aspekte hängt hauptsächlich nur von dem Verb selbst ab. Jedem imperfektiven Verb entspricht ein (aber manchmal mehrere) perfektives Verb. Der Aspekt beeinflusst manchmal sogar die Bedeutung eines Verbs. In der Tabelle hier unten finden sich einige Beispiele:

Das Beispiel садиться/сесть "sich setzen" ist auch besonders interessant, weil das imperfektive Gegenstück ein reflexives Verb ist (ausweislich des Suffix -ся) und das perfektive Gegenstück andrerseits kein reflexives Verb ist!

Mithilfe dieser Einteilung von Verben kann man eine Vielfalt an zeitlichen Bedeutungen mit nur wenigen Zeitformen äußern. Zum Beispiel, die Gegenwartsform der Verben im Russischen spielen eine Doppelrolle: bei den imperfektiven Verben äußert sie eine Aktion, die im Gang ist oder einen gegenwärtigen Zustand, aber bei den perfektiven Verben bedeutet sie eine künftige Aktion. So kann eine einzige Verbform für zwei Tempus (Gegenwart und Zukunft) angewendet werden!

Allerdings ist diese Eigenschaft der russischen Grammatik wahrscheinlich die, die meine Denkart am meisten verändert, wenn ich etwas auf Russisch zu sprechen oder zu schreiben versuche.

Vielfalt an Bewegungsverben

Das Thema in der russischen Grammatik, das sich bis jetzt als das schwierigste für mich herausgestellt hat, betrifft die Bewegungsverben (gehen, fahren, rennen, besuchen, bringen usw). Es gibt sehr viele Bewegungsverben im Russischen zu erinnern und zu allem Unglück sehen einige Paare von Bewegungsverben sehr ähnlich aus, was erschwert für mich die Memorierung.

Im Allgemeinen ist es im Russischen in vielen Fällen unmöglich, zusätzliche Informationen über eine Bewegung aus einem Satz auszulassen, die man in der Muttersprache angewöhnt ist, nicht spezifizieren zu müssen. Zum Beispiel, das Verb gehen auf Deutsch könnte sich sowohl einen Spaziergang als auch eine Autofahrt beschreiben, und von Natur aus bestimmt es nicht, ob diese Einwegfahrt oder Rundfahrt ist. Im Russischen gibt es ein bestimmtes Verb für jeden Fall aber kein allgemeines Verb, die diese Einzelheiten verbergt.

Zudem sind diese nur imperfektive Verben. Jedem Verb von diesen entspricht auch ein (manchmal zwei oder mehr!) perfektives Gegenstück. Da die Wahl des richtigen Verbs von so vielen Parametern abhängt ist es sogar schwierig, eine gute Tabelle davon zu entwerfen - man braucht wohl einen ganzen Hyperwürfel:

Ähnlichkeiten mit Englisch, Spanisch und Deutsch

Zum Schluss wollte ich durch ein paar Listen zusammenfassen, was mir bis jetzt beim Russischlernen am schwierigsten ist und was mir am einfachsten ist.

Mir sind die einfachste Seiten (oder die Seiten, die einfacher als ich erwartete waren) der russischen Grammatik bis jetzt:

• keine Artikel erinnern oder deklinieren zu müssen
• die Vergangenheitsform des Verbs
• Konditionalis und Irrealis zu bilden

und die schwierigste Seiten:

• Pluralsubstantive im genitiven Kasus zu beugen
• Kardinalzahlen (zum Teil weil es auf pluralen genitiven Deklinationen beruht)
• zwischen den Präpositionen в und на je nach dem Ort entscheiden
• die Position des Tons in einem Wort zu erinnern
• umgangsprachliche russischen Partikeln (e.g. и, а, ну, да, -ка, -то) zu verstehen und zu benutzen

Es ist auch manchmal ziemlich schwer im Allegemeinen, viele ähnlich aussehende Wörter nicht zu verwechseln. Dazu gibt es ein Meme:

Da dieser Blogeintrag schon so vollgepackt mit Tabellen ist, warum nicht eine Tabelle mehr? Ich habe einige Spracheigenschaften in der folgenden Tabelle zusammengestellt, um Englisch, Spanisch, Deutsch und Russisch unter sich zu vergleichen:

Das Skalarprodukt (auf Englisch: dot product) ist eine elementare mathematische Verknüpfung, die einem Paar von Vektoren eine Skalarzahl zuordnet. Ich glaube, ich habe davon zum ersten Mal ausdrücklich erfahren, als ich den Kurs namens "Calculus 3" in meiner Uni belegte. Es ist sehr einfach zu rechnen: das Skalarprodukt ist die Summe der Produkte der beziehungsweisen Koordinaten der Vektoren.

$$\mathbf{x}\cdot\mathbf{y} = x_1 y_1 + x_2 y_2 + \cdots + x_n y_n$$

Es ist doch häufig eingesetzt, um den Wert des Winkels $\vartheta$ zu kalkulieren, der zwischen den Vektoren eingeschlossen ist, denn es gilt auch, dass:

$$\mathbf{x}\cdot\mathbf{y} = \lVert \mathbf{x}\rVert \cdot\lVert \mathbf{y}\rVert \cdot \cos\vartheta$$

Dies ist eine sehr wichtige Formel, die überall bei der multivariaten Analyse, linearen Algebra, Geometrie usw. eingesetzt wird. Doch wie beweist man eigentlich diese Kosinus-Formel, wenn man nur die erste Formel für die Definition des Skalarprodukts annimmt? Es gilt als elementar, aber ist gar nicht offensichtlich. Trotzdem hat mir kein einziges Mal ein Professor oder Lehrbuch die Verbindung zwischen diese zwei Formeln ausdrücklich erläutert.

Dazu wollte ich einen sehr knappen Gedankengang darstellen, der es ermöglicht, diese Kosinus-Formel "auf einen Blick" zu erfassen. Es ist nichts Besonderes, aber ich habe so was eigentlich nie eindeutig niedergeschrieben.

Man kann die Kosinus-Formel für das Skalarprodukt einfach beweisen, wenn man bereit ist, die folgenden "offensichtliche" (oder mindestens intuitivere) Tatsachen anzunehmen:

• die Drehungen in $\mathbb R^n$ behalten die Winkel zwischen Vektoren
• die Drehungen in $\mathbb R^n$ behalten Distanzen zwischen Paaren von Punkten
• für jedes Paar von Vektoren $\mathbf{x},\mathbf{y}\in\mathbb R^n$ gibt es eine Drehung um den Ursprung, die sie in die XY-Ebene bringen

Dieser Gedankengang beruht sich hauptsächlich auf der grundsätzlichen algebraischen Tatsache $(x-y)^2 = x^2 - 2xy + y^2$. Anders gesagt lautet diese Gleichung:

$$x\cdot y = \frac{x^2 + y^2 - (x-y)^2}{2}$$

Seien $\mathbf{x},\mathbf{y}\in\mathbb R^n$ zufällige Vektoren, wenn man diese Gleichung komponentenweise auf diese zwei Vektoren anwendet, dann bekommt man die Gleichung

$$\mathbf{x}\cdot\mathbf{y} = \frac{\lVert \mathbf{x}\rVert^2 + \lVert\mathbf{y} \rVert^2 - \lVert \mathbf{x} - \mathbf{y} \rVert^2}{2}$$

Das heißt, dass $\mathbf{x}\cdot\mathbf{y}$ nur von den drei Distanzen $\lVert \mathbf{x}\rVert, \lVert\mathbf{y} \rVert, \lVert \mathbf{x} - \mathbf{y} \rVert$ abhängt. Laut unserer Voraussetzungen muss jede Drehung die Distanzen zwischen Punkten behalten. Sei dann $U$ eine Drehung um den Ursprung, denn behaltet es die Werte der Ausdrücke $\lVert \mathbf{x}\rVert, \lVert\mathbf{y} \rVert, \lVert \mathbf{x} - \mathbf{y} \rVert$. Daraus folgt, dass

$$\mathbf{x}\cdot\mathbf{y} = U\mathbf{x}\cdot U\mathbf{y}$$

Unsere dritte Voraussetzung lautet, dass es eine bestimmte Drehung $U$ gibt, die $\mathbf{x},\mathbf{y}$ gleichzeitig in der XY-Ebene bringt. Also haben wir gefolgert, dass es jedem Paar von Vektoren $\mathbf{x}, \mathbf{y}$ ein anderes Paar von Vektoren $\mathbf{x}' = U\mathbf{x}, \mathbf{y}' = U\mathbf{y}$ in der XY-Ebene entspricht, das sowohl das gleiche Skalarprodukt als den gleiche Winkelwert hat. Das heißt: die Formel gilt im Allgemeinen, solange es im zweidimensionalen Fall gilt, wobei $\mathbf{x} = (x_1,x_2)$ und $\mathbf{y} = (y_1,y_2)$.

Im zweidimensionalen Fall ist die Formel doch sehr einfach zu beweisen. Durch einer weiteren Drehung um den Ursprung kann man $\mathbf{y}$ parallel zu der X-Achse richten, damit $\mathbf{x} = (x_1,x_2)$ und $\mathbf{y} = (y_1, 0)$. In diesem allereinfachsten Fall reduziert sich die KosinusFormel auf $$x_1 y_1 = \sqrt{x_1^2 + x_2^2}\cdot y_1 \cos\vartheta$$ oder $$\frac{x_1}{\sqrt{x_1^2 + x_2^2}} = \cos\vartheta$$ Diese Gleichung ist doch bloße zweidimensionale Trigonometrie:

Und das war's!

Übrigens frage ich mich, ob man irgendeine Verbindung zwischen dem Skalarprodukt und der Galoistheorie von Rationalfunktionkörper erweisen kann. Der Kern unseres früheren Beweis war die Tatsache, dass die Drehungen um den Ursprung behalten das Skalarprodukt, also, das Polynom $x_1 y_1 + \cdots + x_n y_n$. Deshalb frage ich mich zum Beispiel, ob der Unterkörper von $\mathbb R(x_1,\cdots, x_n, y_1,\cdots, y_n)$, die aus den von gleichzeitigen linearen Drehungen behaltenen rationalen Funktionen besteht, genau $\mathbb R(\lVert \mathbf{x}\rVert^2, \lVert \mathbf{y}\rVert^2, \mathbf{x}\cdot\mathbf{y})$ ist. Das habe ich doch bis jetzt weder bestätigt noch widerlegt.

Lately I've been brushing up on my statistics (which is only prudent given all of the buzz about ML in the software dev world right now) and I've gone down a bit of a rabbit-hole studying parameter estimation problems. Lehmann's books Theory of Point Estimation and Testing Statistical Hypotheses present parameter estimation problems in a general framework that I've found pretty insightful. Actually, as a side project I've put together a little website with a collection of parameter estimation challenges that you can solve in the browser by writing a WebR function. Check it out!

These parameter estimation problems involve making estimates of unknown quantities given only imperfect information in the form of randomly distributed data. Penalties for incorrect answers are calculated in terms of a given "loss function". An interesting subclass of these problems are the minimax problems, where you are tasked with minimizing the expected loss in the worst case, that is, minimizing the maximum possible expected loss across all possible values of the unknown quantity.

Lehmann comments that minimax problems are often very tricky to solve compared to other forms of parameter estimation problems. Of course, I had to see this for myself to believe it, so I wrote down one of the simplest minimax problems I could think of and tried to solve it.

And boy, was he right. I've been toying with this problem on and off for the past several weeks, and it's been infuriating, particularly because the problem's statement is so simple on its face. But I finally finished solving it analytically just a few days ago, and the solution is far more complicated than it has any right to be.

Anyways, here's the problem:

There is an unknown parameter $\vartheta \in [0,1]$, and you need to make a guess $\vartheta^\ast$ at the value of this parameter. You are penalized based on how far off your guess is from the true value - if the true value is $\vartheta$ and your guess is $\vartheta^\ast$, then the penalty is $L(\vartheta,\vartheta^\ast) = (\vartheta - \vartheta^\ast)^2$, that is, the squared error. The only information you are given to inform your estimate is the value of a random variable $\omega\sim \mathcal U(0,\vartheta)$, that is, the value of a uniformly distributed random value in $[0,\vartheta]$.

How can you choose your estimate in order to minimize the maximum possible expected penalty? That is, what strategy will guarantee the expected penalty to be as small as possible, regardless of the true value of $\vartheta\in [0,1]$? And what is this smallest possible expected penalty?

The "strategies" for solving this problem can be represented as "decision functions" $\delta: [0,1]\to [0,1]$ such that $\delta(\omega) = \vartheta^\ast$ gives an estimate for the parameter $\vartheta$ in terms of the random observation $\omega\sim \mathcal U(0,\vartheta)$. You can take a crack at this problem yourself on my website by writing a decision function in R, if you want.

This post will describe the winding path that I followed to the ultimate grotesque solution of this minimax problem. Enjoy! 🤡

A failed attempt

In Lehmann's Theory of Point Estimation, he mentions a very useful fact about minimax problems: if you can find a prior distribution $\Lambda$ and a Bayes solution $\delta_\Lambda$ for that prior that makes the risk function a constant function, then $\delta_\Lambda$ is automatically a minimax solution for the problem. (The risk function $R(\delta, \vartheta)$ is defined as the expected loss when a specific decision function $\delta$ is used, and the true parameter value is $\vartheta$.) He shows how to use this fact to deduce the minimax estimate for an unknown parameter $p$ given a binomially distributed random variable $X\sim\text{Binom}(n,p)$. (He does this by letting $\Lambda$ be a certain beta distribution, but as for where this idea came from in the first place, he kind of pulls it out of a hat.)

So naturally, my first step was to look for a decision function $\delta$ making the risk function $R$ constant. Then I could try to find a prior distribution for which that decision function was Bayes optimal, and my work would be done. For the risk to be constant as a function of the parameter $\vartheta$, the following expression would have to be constant as a function of $\vartheta$: $$R(\vartheta) = \frac{1}{\vartheta}\int_0^\vartheta \big(\vartheta - \delta(x)\big)^2 ~ dx = C$$

It took me a few weeks of on-and-off work on this problem to realize that $\delta$ can be solved for analytically. But in the meantime, I found an approximate solution for $\delta$ by discretizing the interval $[0,1]$ into a bunch of evenly spaced points and reformulating the problem as a system of linear equations that could be solved algorithmically. In fact, there are infinitely many solutions $\delta$, as for any particular solution $\delta$, another solution can be obtained from the function $x\mapsto \alpha \delta(x/\alpha)$ for any $\alpha > 0$, dilating the solution about the origin. This yields a function looking something like this:

This poses an unfortunate problem: there is no way to dilate/contract this function in such a way that it is defined on all of $[0,1]$ and is also $\leq 1$ everywhere on $[0,1]$. This means that $\delta$ cannot be the Bayes solution for any prior $\Lambda$, because it can never be optimal to guess a value of $\vartheta$ that is greater than $1$ (since $\vartheta$ only takes values in the interval $[0,1]$). This dashes any hopes of proving minimaxity via the aforementioned theorem on constant risk functions.

Of course, we could always try modifying this decision function so that it never returns an "unreasonable" estimate $\vartheta^\ast > 1$. For instance, we might consider a decision function $x\mapsto \min(1, \delta(x))$ where $\delta$ is the function depicted above that makes the risk function $R$ a constant function. But of course, this truncated version does not make the $R$ a constant function. If we use $x\mapsto \min(1, \delta(x))$ as our decision function, then the new risk function looks like this:

The maximum risk here is approximately $\approx 0.0891$, which is not too bad! But this risk function is non-constant, so there is no guarantee of minimaxity. And as we shall see in a moment, it is not, in fact, optimal.

Dubious approximation using gradient descent

After (erroneously) deciding that it was unlikely I would ever analytically find a minimax solution to this problem, I started looking for approximate numerical solutions. Initially, I had used numerical methods to approximate a decision function $\delta$ making the risk function constant. But a more direct approach would be to numerically calculate a decision function $\delta$ minimizing the maximum value of the risk function $R(\vartheta)$ by using a numerical minimization method.

My numerical approach to this problem was as follows:

1. Discretize the domain $\Theta = [0,1]$ into $n$ points
2. Discretize some initial guess $\delta$ of the decision function as a vector in $\mathbb R^n$
3. Express $R$ as a vector function $r:\mathbb R^n\to \mathbb R^n$ whose input is $\delta$ and whose output is a vector discretizing the risk function $R(\vartheta)$
4. Apply gradient descent to the objective function $\lVert r(\delta) \rVert_\infty = \max(\lVert r(\delta) \rVert_\infty)$

There is a bit of a problem with this approach, though. Although the risk $r(\delta)$ is a differentiable function with respect to the different components of the $\delta$ vector, the supremum norm $\lVert\cdot\rVert_\infty$ is not a differentiable function of its vector argument, so gradient descent cannot really be applied (in its usual form) to the objective function $\delta\mapsto \lVert r(\delta) \rVert_\infty$.

Instead, I applied a modified form of gradient descent in which at each step, only the gradient of the largest component of $r(\delta)$ is calculated and used to adjust the input vector $\delta$. This way, each step of the gradient descent algorithm focuses on decreasing the largest component of the output risk vector $R = r(\delta)$, which is necessary to decrease the maximum component of the vector $R$.

This was just my heuristic approach to the problem, and it yielded a helpful insight, as we will see in a moment. But there was nothing rigorous about this idea. I've found no reference to this modified sup-norm version of gradient descent anywhere online, so I have no idea if there are any theoretical guarantees of its convergence. Also, the usual gradient descent algorithm uses the gradients at previous steps to dynamically adjust the step size, but because my modified algorithm is constantly switching between different components of $R$ to minimize, this kind of intelligent step size calculation wasn't possible. Instead, I just picked a "small enough" static step size to see what the method would turn up.

Here's an animation of my modified gradient descent algorithm being applied to an initial decision function guess of $\delta(x) = x$:

We can see the input decision function $\delta$ and the output risk function $R$ seemingly converge to functions shaped similarly to what we saw in my original failed attempt. To me, this suggested that my initial approach might not have actually been too far off. However, the maximum risk of this numerical solution was significantly lower at $\approx 0.0747$, as compared to a maximum risk of $\approx 0.0891$ in the original attempt.

The risk functions for the original attempt and this newer attempt look similar, in that they consist of a plateau stretching until about $x\approx 0.5$ followed by a parabolic-looking dip downwards. However, a notable difference between them is the fact that in the older solution, the end of the dip at $x=1$ falls short of the height of the original plateau, while in the newer solution, the end of the dip at $x=1$ seems to match the height of the original plateau. This qualitative observation led to the conjectured exact solution described in the next section (later proven to be correct).

A conjectured analytical solution

Previously, I mentioned the idea of trying to "salvage" a non-Bayes (and non-admissible) decision function $\delta$ making the risk function $R$ a constant function by capping its values at $1$. Then, when I used a modified version of gradient descent to search for a minimax solution, I noticed that the apparent numerical solution (and its risk function) looked an awful lot like the solution and non-constant risk function that I had salvaged from my original attempt, except that the height of the plateau in the risk function starting at $R(0)$ appeared to align with the final value $R(1)$ of the risk function.

This led to my next method of attack: trying to find a decision function which both makes $R$ constant, and also makes $R(0) = R(1)$ when it is "capped" at a maximum value of $1$. In what follows, I will let $f$ denote a non-admissible decision function that makes $R$ constant, and let $\delta$ denote the decision function that results from capping it off at a maximum value of $1$.

Around this time is when I figured out how to analytically solve for functions $f$ reducing the risk function $R$ to a constant, by solving a certain differential equation. And the answer is weird.

We're looking for functions $f$ satisfying the following integral identity, for some constant $C$: $$R(\vartheta) = \frac{1}{\vartheta}\int_0^\vartheta \big(\vartheta - f(x)\big)^2 ~ dx = C$$ Note that this is the same as saying $$\frac{d}{d\vartheta}\int_0^\vartheta \big(\vartheta - f(x)\big)^2 ~ dx = C$$ Using the Leibniz integral rule we can turn this into a differential equation for the function $f$: we obtain $$\big(\vartheta - f(\vartheta)\big)^2 + 2\vartheta^2 - 2\int_0^\vartheta f(x) ~ dx = 0$$ From this point, the calculations are a big nicer if we make a substitution, considering the function $g$ defined as $g(\vartheta) = f(\vartheta) - \vartheta$ in place of the function $f$. With this substitution, the above becomes $$g^2 + \vartheta^2 - 2\int_0^\vartheta g(x) ~ dx = 0$$ Differentiating once more with respect to $\vartheta$ yields: $$2g'g + 2\vartheta - 2g = 0$$ or, after simplifying, $$g' = 1 - \frac{\vartheta}{g}$$

The solution to this differential equation is quite messy and involves defining $g$ implicitly. (To be completely honest, I found the solution at first using Wolfram, but came up with the following slick derivation after the fact.) To solve it, we'll first define a complex-valued function $z:(0,1)\to \mathbb C$ as $z(\vartheta) = \zeta_3\vartheta + g(\vartheta)$, where $\zeta_3$ is the complex cube root of unity in the upper half-plane. Then note that by the differential equation for $g$, we have $$\frac{dz}{d\vartheta} = \zeta_3 + g' = \frac{\zeta_6}{g}\cdot z$$ which means that the following quantity has to be purely real, since $g$ is a real-valued function: $$\zeta_6^{-1}\cdot \frac{1}{z}\frac{dz}{d\vartheta}$$ But note this is simply the derivative of $\zeta_6^{-1}\log(z)$. Thus, since the derivative of $\zeta_6^{-1}\log(z)$ with respect to $\vartheta$ is a purely real quantity, the derivative of its imaginary part with respect to $\vartheta$ vanishes, and we have that it must have constant imaginary part: $$\text{Im}(\zeta_6^{-1}\log z) = C$$ By decomposing $z$ into its real and imaginary parts in terms of $g$ and $\vartheta$ and computing the imaginary part of $\zeta_6^{-1}\log z$ in terms of these quantities (and simplifying a bit, absorbing some numbers into the arbitrary constant $C$), we obtain the following gross-looking definition for $g(x)$ as an implicit function of $x$: $$\tfrac{1}{2}\log(g^2 - xg + x^2) - \tfrac{1}{\sqrt{3}}\arctan\Big(\frac{x-2g}{\sqrt{3} x}\Big) = C$$

Nasty! But if you open up a graphing calculator and plot the curve defined by this equation:

$$\tfrac{1}{2}\log((f-x)^2 - x(f-x) + x^2) - \tfrac{1}{\sqrt{3}}\arctan\Big(\frac{3x-2f}{\sqrt{3} x}\Big) = C$$

you will miraculously find a shape that looks just like the graph we saw earlier.

As discussed before, the empirical results of my (sus) gradient descent had led me to believe that the true minimax solution is a truncated version of the decision function $f$ (for some value of the constant $C$) defined as follows, where $x_\ast$ is the smallest real value $x$ for which $f(x) = 1$, i.e. the point at which $f$ turns into a decision function that no longer makes sense: $$\delta(x) = \begin{cases} f(x) &amp; \text{if }x \leq x_\ast \\ 1 &amp; \text{else}\end{cases}$$ and further, that $\delta$ it is such that its risk function $R$ satisfies $R(0) = R(1)$. It turns out that we can actually calculate the exact value of the constant $C$ (and hence the implicitly defined function $f$) for which this condition on the risk function is satisfied. This condition is equivalent to $$f_0^2 = \int_0^1 \big(1-\delta(x)\big)^2 ~ dx$$ or, since $\delta = 1$ for all $x\geq x_\ast$, the condition is $$f_0^2 = \int_0^{x_\ast} \big(1-f(x)\big)^2 ~ dx$$ Using the properties of $f$ and the differential equation for $g$, the RHS can actually be reduced to a pretty simple form in terms of $x_\ast$. I'll leave the details as an exercise, but it can be shown that the RHS can be reduced to the simple expression $f_0^2 - (1-x_\ast)(2x_\ast^2 - 3x_\ast + 1)$, from which it follows that the above equation implies $$(1-x_\ast)(2x_\ast^2 - 3x_\ast + 1) = 0$$ The only solution to this equation other than $x_\ast = 1$ (which is not possible) is $x_\ast = 1/2$ - a remarkably simple answer to a very complicated question! This means that if the condition $R(0)=R(1)$ holds then we must have $x_\ast = 1/2$, and consequently $f(1/2) = 1$, or $g(1/2) = 1/2$. Setting $(x,g) = (1/2,1/2)$ in the implicit equation defining $g(x)$ gives the following value of the constant $C$: $$C = -\log 2 + \frac{\pi}{6\sqrt{3}}\approx -0.391$$ which yields the following minimax loss value: $$\sup_{\vartheta\in [0,1]} R(\vartheta) = f(0)^2 = \tfrac{1}{4}e^{-2\pi/3\sqrt{3}}\approx 0.0746$$ which agrees numerically with the minimax loss value that I found empirically.

After a few weeks of banging my head against the wall, I wasn't expecting to find an exact value for the minimax expected loss at all. And if I had, I certainly wouldn't have expected that kooky number!

Proof of minimaxity

At this point, I had a numerical minimax solution, and I had an analytical description of a function agreeing with it numerically which I conjectured to be minimax. But still no proof of its minimaxity.

But finally I realized that another result from Lehmann on minimax solutions could still be applied, since it had slightly weaker hypotheses. In the weaker theorem, the risk function $R$ is not required to be constant. It is just required to be constant on a set of unit measure with respect to the prior distribution for which $\delta$ is Bayes. That is, $\delta=\delta_\Lambda$ needs to be a Bayes solution for some prior distribution $\Lambda$, and the risk function $R$ only needs to be constant on some subset $A\subset [0,1]$, so long as that subset has probability $\Lambda(A) = 1$.

The solution $\delta$ that we've constructed above has a risk function $R(\vartheta)$ that is not constant. However, it is constant on the set $[0,1/2]\cup {1}$. This result means that if we can find a prior distribution $\Lambda$, supported on the set $[0,1/2]\cup {1}$, for which $\delta=\delta_\Lambda$ is the Bayes solution, then $\delta$ is in fact minimax. And this time, there are no glaring red flags about $\delta$ that preclude it from being minimax.

The most general prior distribution $\Lambda$ supported on $[0,1/2]\cup {1}$ takes the form $\Lambda(X) = p [[ 1\in X ]] + (1-p)\Lambda_0(X)$ where $p\in [0,1]$ and $\Lambda_0$ is a narrower distribution on the set $[0,1/2]$. That is, a random variable on the set $[0,1/2]\cup {1}$ must take the value $1$ with some probability $p\in [0,1]$, and must follow some other distribution $\Lambda_0$ when its value falls in the interval $[0,1/2]$.

We shall try to choose $p$ and $\Lambda_0$ in order to make our $\delta$ the Bayes solution for $\Lambda$. When the squared error loss function is used, the Bayes solution is just the expected value of the posterior distribution, meaning that $$\delta_\Lambda(x) = \mathbb E[\vartheta | x] = \frac{\tfrac{p}{1-p} + \int_x^{1/2} \Lambda_0(\phi) ~ d\phi}{\tfrac{p}{1-p} + \int_x^{1/2} \tfrac{1}{\phi}\Lambda_0(\phi) ~ d\phi}$$

when $x\in [0,1/2]$. When $x > 1/2$, of course we have that $\delta_\Lambda(x) = 1$, since an observation of $1$ means that the value of $\vartheta$ must be $=1$ when it is known to belong to $[0,1/2]\cup {1}$. So we want to choose a value of $p$ and a density function $\Lambda_0$ such that the above equals $f(x)$ for all $x\in [0,1/2]$.

With a bit of algebra, this can be turned into a nice differential equation for $\Lambda_0$. I found the following solution: $$\begin{align*}p &amp;= \frac{1}{1 + h(\tfrac{1}{2}) - h(0)} \\ \Lambda_0(\vartheta) &amp;= \frac{p}{1-p} ~ \frac{dh}{d\vartheta} \end{align*}$$ where $$h(\vartheta) =1-\exp\bigg(-\int_0^\vartheta \Big(\frac{1}{f(\phi)-\phi} - \frac{1}{f(\phi)}\Big)\cdot f'(\phi) ~ d\phi\bigg)$$ I'm not sure if this integral representation for $h$ in terms of $f$ can be simplified any further using the differential equation for $f$ - perhaps it can. But the above is sufficient to show existence of a Bayes prior $\Lambda$ for which $\delta = \delta_\Lambda$. One can check that the above does in fact define a valid density function for $\Lambda_0$ - namely, $\Lambda_0$ is positive on $[0,1/2]$ and it has unit integral over that interval - and that it satisfies the requisite integral equation to ensure $\mathbb E_\Lambda[\vartheta|x] = f(x)$ for $x\in [0,1/2]$. Just to get an idea of what this distribution looks like, here's the density function $\Lambda_0$ on $[0,1/2]$:

and the value of $p$ is approximately $\approx 0.713$.

This gives us a final definitive answer: the function $\delta$ is indeed a minimax solution of our problem. Whew!

That wraps up my extended treatment of this problem. I really was not expecting to find exact expressions for the minimax solution and minimax expected loss, and I'm blown away by how strange-looking they are. I also wasn't expecting to encounter such tricky differential equations.

Overall, a damn cool problem!