Vergelijk tekst in een gezamenlijke Unicode-vorm

Twee namen zien er hetzelfde uit, maar je programma beschouwt ze als verschillend. Dat kan gebeuren wanneer een letter met accent op twee manieren is opgebouwd. Je onderzoekt daarom de codepunten achter de zichtbare tekst voordat je een vergelijking maakt.

Eén uiterlijk, meer dan één opbouw

Een string bestaat uit Unicode-codepunten. De letter ë kan één codepunt zijn, maar ook een gewone e gevolgd door een los trema. Het scherm kan beide combinaties hetzelfde tekenen, terwijl hun reeksen codepunten verschillen.

Daarom telt len niet altijd het aantal zichtbare letters. Ook indexeren en slicen werken met codepunten. Een slice kan dus een los accent van zijn basisletter scheiden; tekst bewerken vraagt soms meer dan alleen een positie kiezen.

De schrijfwijze \u0308 in een Python-string kiest het codepunt van het losse trema. Die zes broncodetekens worden bij het lezen van de string één codepunt. Het is dezelfde soort scheiding tussen broncode en tekstwaarde die je van \n kent.

Een gezamenlijke vorm kiezen

Normalisatie zet zulke gelijkwaardige opbouwen om naar een afgesproken vorm. In deze les kiezen we NFC, een vorm die waar mogelijk bij elkaar horende onderdelen samenstelt. Je vergelijkt daarna de twee genormaliseerde strings.

Daarvoor gebruiken we unicodedata, een module uit de standaardbibliotheek: een verzameling beschikbare functies. Met import unicodedata maak je haar naam beschikbaar. Daarna roept unicodedata.normalize("NFC", text) de normalisatiefunctie aan.

Voorspel eerst de vergelijking en de twee lengtes in het zelfstandige voorbeeld. Voer het daarna uit en kijk wat er verandert wanneer beide namen dezelfde vorm krijgen.

import unicodedata

left = "Zoe\u0308"
right = "Zoë"
print(left == right)
print(len(left), len(right))
print(unicodedata.normalize("NFC", left))
print(unicodedata.normalize("NFC", left) == right)

False
4 3
Zoë
True

Je oorspronkelijke variabelen blijven bestaan zoals ze waren. De functie geeft een tekstwaarde terug; je moet die gebruiken of bewaren. Alleen de functie aanroepen zonder haar resultaat te gebruiken verandert de oorspronkelijke string niet.

Veelgemaakte fout: alleen kleine letters maken

Hoofdletters aanpassen is een andere bewerking dan codepunten normaliseren. In de volgende foutvariant zijn beide namen al in kleine letters, maar heeft één naam nog een los accent.

name = "cafe\u0301"
print(name.lower() == "café")

False

De vergelijking blijft onwaar. lower heeft geen reden om dat losse accent met de voorafgaande letter samen te stellen. Normaliseer beide kanten wanneer jouw afspraak een vergelijking in NFC vraagt.

Gelijkwaardig is niet hetzelfde als gelijk ogend

NFC maakt niet alle tekens die op elkaar lijken hetzelfde. Een gewone hoofdletter A en een brede variant blijven verschillende tekens. Ook een ligatuur of omcirkeld cijfer wordt niet zomaar gewone tekst.

Er bestaan andere vormen, waaronder NFKC, die zulke compatibiliteitsvarianten wel kunnen vervangen. Dat is hier niet het contract: je moet de aangeleverde betekenis en schrijfwijze zo veel mogelijk behouden. Gebruik daarom precies NFC.

De opdrachten veranderen hoofdletters en spaties niet. same_text vergelijkt de NFC-vorm van beide invoeren, dus een verschillende hoofdletter blijft een verschil. Een lege string is ook gewoon een geldige tekstwaarde.

Wat je meeneemt

• Zichtbare tekens en Unicode-codepunten zijn niet altijd één op één verbonden.
• NFC geeft gelijkwaardige opbouwen een gezamenlijke vorm voor vergelijking.
• Normalisatie is een andere afspraak dan hoofdletters aanpassen of witruimte verwijderen.

Hierna zet je tekst om naar bytes en lees je zulke gegevens weer terug.