sju;
U d Z ddlmZ ddlZddlZddlZddlZddlZddlZddl Z ddl
Z
ddl m Z e j j d e e e j" ddlmZmZmZ ej, dej. Z ej, dej. Z ej, dej. Z ej, d ej. Z ej, d
ej. Z ej, d Z ej, d Z ej, d
ej. Z ej, d Z ej, d Z! ej, d Z" ej, dej. Z# ej, d Z$d\dZ% d]dZ&d^dZ' ej, dej. Z( d_dZ)d`dZ* ej, d Z+ ej, d Z, ej, d Z- ej, d Z. ej, d Z/ ej, d Z0d d hZ1 ej, d! Z2 ej, d" Z3 da dbd#Z4 ej, d$ Z5d%Z6 ej, d& Z7 ej, d' Z8 ej, d( Z9 e:h d) Z; ej, d* Z< ej, d+ Z= ej, d, Z>d-Z? ej, d. Z@ e:h d/ ZA ej, d0ej ZC ej, d1 ZD ej, d2 ZE ej, d3ej ZFdcd4ZGd5 ej, d6 fd7 ej, d8 fd9 ej, d: ffZHd;eId<< ddd=ZJded>ZKdfd?ZLdgd@ZM ej, dA ZN ej, dB ZOdhdCZP didDZQ ej, dE ZR ej, dF ZSdjdGZT dk dldHZU dmdIZV ej, dJej. ZW ej, dKej. ZX ej, dL ZYdndMZZdodNZ[dpdOZ\dpdPZ]dQZ^dpdRZ_dqdSZ` ej, dT Za ej, dU Zb ej, dV ZcdrdWZddsdXZe dtdYZfdudZZgehd[k( r
ei eg y)vul Anonymisiert eine QAF-Arbeitsmappe auf XML-Ebene, statt sie neu zu schreiben.
Das Original wird ausschliesslich GELESEN. Die Ausgabe ist eine neue Datei.
── Warum eine zweite Fassung neben anonymise_workbook.py ───────────────────────
Die openpyxl-Fassung schreibt die Mappe komplett neu. Zwei Folgen, die sich
nicht wegkonfigurieren lassen:
1. **Formeln verlieren ihr gecachtes Ergebnis.** openpyxl kennt entweder
Formeln oder Werte, nie beides. Die geschriebene Datei traegt `` ohne
``. Der QAF-Parser liest Werte und rechnet nicht — in der Fixture blieben
deshalb 19 von 20 Kennzahlen leer, der Angebotspreis war `null` statt einer
Zahl. Eine Fixture, die genau die Groessen nicht traegt, um die es geht,
prueft nichts.
2. **Der Container schrumpft.** Aus 71 ZIP-Eintraegen wurden 35: `customXml/*`
und die Erweiterungen zu bedingter Formatierung und Datenpruefung fallen weg.
Diese Fassung arbeitet deshalb am ZIP: jeder Eintrag wird unveraendert
uebernommen, ausser den Blatt-XMLs und `sharedStrings.xml`. Dort wird gezielt
ersetzt. In ``-Elementen liegen `` (Formel) und `` (gecachtes
Ergebnis) nebeneinander — beides bleibt erhalten, nur der Zahlenwert darin
wechselt.
── Die Entscheidung zu den Formel-Caches ───────────────────────────────────────
Ein gecachtes Ergebnis DARF nicht im Original stehen bleiben: es ist ein echter
Kalkulationswert. Es soll aber zu den ersetzten Eingaben passen, sonst schliesst
keine Reconciliation mehr und die Fixture taugt nur noch fuer Strukturtests.
Zwei Betriebsarten, beide ausdruecklich benannt statt still gewaehlt:
--caches=recompute Eingaben ersetzen, danach die Mappe neu rechnen lassen und
die Ergebnisse als Cache schreiben. Arithmetisch konsistent.
Setzt voraus, dass die Formel-Engine die Mappe versteht.
--caches=replace Eingaben UND Caches deterministisch ersetzen. Kein
Originalwert bleibt stehen, die Arithmetik der Mappe
stimmt danach aber nicht mehr. Nur mit
`arithmetic_consistency: false` im Manifest zu verwenden.
Die Ersetzungsregel selbst ist dieselbe wie in anonymise_workbook.py und wird
von dort importiert — zwei Regeln waeren zwei Wahrheiten.
) annotationsN)Path)TextAnonymiseris_characteristicreplace_numberz7])(?P[^>]*?)(?:/>|>(?P.*?))z*\s[^>]*)?>(?P[^<]*)z]z&(.*?]*>)(?P[^<]*)()z (]*>)(?P[^<]*)()z\br="([A-Z]+\d+)"z\bt="([a-zA-Z]+)"z (]*)?>)([^<]*)()z"((?:[^"]|"")*)"z2(?)([^<]+)(]*Target="([^"]+)"z,]*name="([^"]*)"[^>]*r:id="([^"]+)" zxl//)readdecodedictrefindallgetlstrip removeprefix) zwbrels
id_zu_ziel zuordnungnameridzielpfads J/home/aria/work/kadi-v2/scripts/qaf-v2/anonymise/anonymise_workbook_xml.py blatt_namenr r s
! " ) )'9 =B 66. / 6 6w JDbjj!EtLMJ "IZZ OQST # c~~c2& 4;;s+88??D "IdO #
c dfd }t j || } dfd } dfd }
t j | | } t j |
| S )z3Ersetzt Zahlen und Inline-Texte in einem Blatt-XML.c
| j d }| j d xs d}| j d }||S t j | }|r|j d nd t j | }|r|j d nd}t t
j |
|dk( r|S |dk( r*d fd
}d |z d z t j || z d
z S |d k( r*d fd }d |z d z t j || z d
z S |dv r|S
rt j fd| }d
fd } d |z d z t j | | z d
z S )Nr attrsr inhalt ?s inlineStrstrc | j d }j | j | }||k( rdxx dz
cc< n
dxx dz
cc< | j d |z | j d z S )Ntexttexte_beschriftungr&
texte_ersetzt )groupadd pseudonymmr, neuanonoriginal_texte statistiks r
pro_inlinez4ersetze_blatt..pro_zelle..pro_inline st wwv ""4(nnT*$; 23q83 o.!3.wwqzC'!''!*44r! zzc < | j d }|j dk( r| j d S j | j | }||k( rdxx dz
cc< n
dxx dz
cc< d| j d xs d d t | d
S ) Nwertr r r- r& r. )r0 stripr1 r2 _xml_escaper3 s r pro_strz1ersetze_blatt..pro_zelle..pro_str s wwv::<2% 771:% ""4(nnT*$; 23q83 o.!3.AGGH - 34Ak#6F5GtLLr! )ebc | j d t j fd| j d z | j d z S )Nr& c b dt j | j d z dz S )N"r& )rA r2 r0 )mlr6 s r zDersetze_blatt..pro_zelle.... s( s[ 1L%M MPS S r! r/ )r0 FORMEL_LITERALsub)mfr6 s r rI z2ersetze_blatt..pro_zelle.. s? 288A; ););SHHQK*! !#%88A; / r! c | j d j }|dk( r| j d S t | }j | rtdk( r dxx dz
cc< y|dk( r dxx dz
cc< | j d S dxx dz
cc< d | j d
xs d d t t
| d S |dk( r dxx dz
cc< | j d S d
xx dz
cc< d | j d
xs d d t t
| d S # t $ r | j d cY S w xY w)Nr< r r recomputecaches_entferntr& zahlen_nullcaches_ersetztr= r> r: r? zahlen_ersetzt)r0 r@ float
ValueErrorr1 _formatierer )
r4 rohzahlblattcaches
ist_formelkoordoriginal_zahlenseedr8 s
r pro_wertz2ersetze_blatt..pro_zelle..pro_wert sq ''&/'')Cbywwqz!
" Sz
%[( /0A50 19 m,1, 771:%*+q0+ QWWX . 4" 5Q&~dD%'OPQQUW X qy-(A-(wwqz! & '1 , '*0b1">$eU#KLMTS
T+
"wwqz!
"s D+ +EEr4 re.Matchreturnr* )
r0 ATTR_RsearchATTR_TboolFORMEL INLINE_TEXTrL WERT
FORMEL_INHALT)trefferganzer$ r%
koord_treffer typ_treffertypr9 rB r_ r[ r\ r6 rY rZ r7 r] r^ r8 s @@r pro_zellez ersetze_blatt..pro_zelle sc
a
g&," x( >L
e,
*7
##A&S mmE* &1k "r&--/0
#:L +
5 %<#%
F(KKfT T %<
M %<#%&(AAFJ J * L #&&/ F T T< e|c!DHHXv$>>GGr! c | j d }j | j | }||k7 r
dxx dz
cc< dt | dS )Nr& r. z display="rG )r0 r1 r2 rA )r4 r< r5 r6 r7 r8 s r pro_beschriftungz'ersetze_blatt..pro_beschriftung sX wwqz4 nnT" $; o &! + &;s+,A..r! c dfd }t j |t j | j d }| j d t | z | j d z S )Nc | j d }|j d st j d| s|S j | j | }||k7 r
dxx dz
cc< |S )Nr &u [A-Za-zÄÖÜäöüß]{3,}r. r& )r0
startswithr rd r1 r2 )r( stueckr5 r6 r7 r8 s r
pro_stueckz8ersetze_blatt..pro_kopfzeile..pro_stueck sj WWQZF %RYY7TV\-]
v &..(Cf}/*a/*Jr! rJ r& r/ )r( ra rb r* )KOPFZEILEN_STUECKrL htmlunescaper0 rA )r4 rx
inhalt_neur6 r7 r8 s r
pro_kopfzeilez$ersetze_blatt..pro_kopfzeile sR '**:t}}QWWQZ7PQ
wwqzK
33aggaj@@r! )rk ra rb r* r` )ZELLErL HYPERLINK_TEXT KOPFZEILE) xmlrY r^ r6 rZ r8 r] r7 rp rr r} s ``````` r
ersetze_blattr sU
^H ^H@ ))Is
#C /A.
-s
3C == ,,r! c t | j rt t | S t t t | d j
d j
d S )zLSchreibt eine Zahl so, wie Excel sie im XML fuehrt (kein Exponent, kein .0).
0.)rT
is_integerr* intreprroundrstrip)r< s r rV rV sL T{ 3t9~ eDk2& ' . .s 3 : :3 ??r! z(.*?)c D dfd }t j || S )u Ersetzt je ``-Eintrag, nicht je ``-Element.
Excel zerlegt formatierten Text in Laeufe: `Bezeichnung` und ` des Bauteils`
stehen als zwei `` im selben ``. Wer Lauf fuer Lauf entscheidet,
fragt fuer Bruchstuecke nach einer Beschriftung, die nur als Ganzes eine ist
— auf der HICE-Mappe blieben so drei Fragmente uebrig, waehrend dieselbe
Beschriftung an anderer Stelle korrekt stehen blieb.
Ist der zusammengesetzte Text eine Beschriftung, bleiben alle Laeufe. Sonst
traegt der erste Lauf das Pseudonym und die uebrigen werden geleert; die
Zeichenkette als Ganzes stimmt damit, die Lauf-Formatierung geht verloren.
Das ist fuer eine Fixture der richtige Tausch.
c | j d }t j | }|s| j d S dj d t j | D }|j
dk( r| j d S j | j | }||k( r dxx dz
cc< | j d S dxx dz
cc< dt | dS ) Nr& r r c 3 > K | ] }|j d ywr, Nr0 .0r4 s r z9ersetze_shared_strings..pro_si..3 s !Ta!''&/!T r- r. z z )
r0 SI_TEXTr joinfinditer__iter__r@ r1 r2 rA )blockr% stuecke ganzer_textr2 r6 r7 r8 s r pro_siz&ersetze_shared_strings..pro_si- s Q //&);;q> ! ''!T7;K;KF;S!TT " $;;q> !;'NN;/ # * +q 0 +;;q> !/"a'" 0 I0F/GyQQr! )r ra rb r* )SI_BLOCKrL )r r6 r8 r7 r s ``` r ersetze_shared_stringsr s R4 << $$r! c f | j dd j dd j dd S )Nru z&([^<>&]{2,}))([^<]+)(.pro_kennung s ggaj 99T? "n 4771: NND; . 4<<> ? I I K1Qq6(!AaG9Aa2hZq2b
!AbH:RHNNP+,1,''!* RuA&&r! c | j d }|j d j t v r| j d S t j
dz |z j
j }dxx dz
cc< |j j d r4| j d d|d t | dz
j d S d
|v rl|dd d
|d d d
|d d
d
|d
d d
|dd j }|j d r| j d d| dS | j d d| d S | j d d|d t | j d S )NrJ r r r r r& 0xz="0xrG r r r r r r r z="{z}"r ) r0 r@ r r r r r r lowerrv lenr s r pro_formz)neutralisiere_kennungen..pro_form s ''!*Cyy$$&.8wwqz!{ 2S 8 @ @ BCMMOA / 0A 5 0yy{%%d+ ''!* T!MSX\*:*@*@*B)C1EEcz1Q!Ab'!AbH:QqBxj!Br(LRRT69nnS6I!''!* T#c2fRSRYRYZ[R\Q]]_`c_ddeOffggaj\Ais3xL$6$6$8#9; ;r! c h j | j d dt dz
dS )Nr r& )appendr0 r r4 schutzs r merkenz'neutralisiere_kennungen..merken s/
aggaj!c&kAo&d++r! c 8 | j d }|j t v r|S t j dz |z j j
}dxx dz
cc< |dd d|dd d|dd d|dd d|d d
j S ) Nr r r r& r r r r r r )r0 r r r r r r )r4 rW r r^ r8 s r pro_eingebettetz0neutralisiere_kennungen..pro_eingebettet s ggaj 99;. (J NND; . 4<<> ? I I K+,1,Aa&1Qr7)1Qr"XJa"Rz1R8*EKKMMr! z
\x00(\d+)\x00c > t | j d S )Nr& )r r0 r s r rI z)neutralisiere_kennungen.. s fS_.E r! r` )r4 z're.Match[str]'rb r* )DOKUMENT_KENNUNGrL
GUID_ATTRIBUT KENNUNGSFORMSCHEMA_ATTRIBUTGUID_EINGEBETTETr ) r r^ r8 schema_schuetzenr r r r r s `` @r neutralisiere_kennungenr s '
{C
0C
K
-C
< x- F, !!&#.N
4C
66"$Es KKr! z\b(id|siteId)="([^"]{8,})"z&{00000000-0000-0000-0000-000000000000}z0()([^<]+)( ManualStandard Automatic
Privilegedzh[\d.,:/+-]+|\{?[0-9A-Fa-f]{8}-[0-9A-Fa-f-]{4,}\}?|\d{4}-\d{2}-\d{2}T[\d:.Z+-]+|true|false|0x[0-9A-Fa-f]+z,^xl/printerSettings/printerSettings\d+\.bin$z.(Target=")([^"]+)("[^>]*TargetMode="External")z https://beispiel.invalid/externz\d+> purl.org
www.w3.org www.iso.orgdublincore.orgbeispiel.invalidgo.microsoft.comwww.dublincore.orgdocs.oasis-open.orgschemas.microsoft.comschemas.openxmlformats.org schemas.opendocumentformat.orgz@(?:https?://|ftps?://|www\.)[^\s\"'<>]+|\\\\[\w.-]+\\[^\s\"'<>]+zg\b[A-Za-z0-9][\w-]*(?:\.[A-Za-z0-9][\w-]*)+\.(?:corp|local|intranet|lan|net|com|org|de|eu|io|gov|edu)\bz4(?:\+\d{1,3}[\s/()-]{1,3}|\(0\)?\s?)\d[\d\s/-]{5,}\dze\b(?:tel|telefon|fon|rufnummer|phone|fax|mobil|mobile|handy|durchwahl)\b[^\d]{0,12}\d[\d\s/()-]{5,}\dc
t t fD ]J }|j | }|st t j
dd|j
d dk\ sJ y y)Nz\Dr r TF)TEL_INTERNATIONALTEL_MIT_KONTEXTrd r r rL r0 )r, musterrk s r _ist_rufnummerr b sQ $o6 --% s266%W]]1-=>?1D r! Postfachz [\w.+-]+@[\w-]+\.[A-Za-z]{2,} Anmeldungz9(? > ! d r! c F | j d y# t $ r Y yw xY w)a Entscheidet ueber den Inhalt, nicht ueber die Dateiendung.
Dieselbe Lehre wie beim Zaehlen von Dateiformaten: der Container
entscheidet, nicht der Name. `.vml` ist Text und wurde als Binaerdatei
behandelt, `.bin` ist Binaerdatei und wurde als "kein Text" abgetan.
r
FT)r UnicodeDecodeError)rohdatens r ist_textr s, s c $ t j d| D cg c]! }|j j d # }}|t j d| D cg c]" }|j j dd $ c}z
}|S c c}w c c}w )u Lesbare Zeichenketten aus einem nicht-XML-Eintrag — ASCII und UTF-16LE.
`pruefe_ausgabe` hat solche Eintraege bis hierher mit der Begruendung
uebersprungen, sie traegen "kein Text, keine Werte". Fuer Bilder und
Schriften stimmt das; fuer `xl/printerSettings/*.bin` nicht. Dort steht
die DEVMODE-Struktur des Druckers, und darin standen interne
Server-Rechnernamen und ein Anmeldename — byte-identisch mit der Quelle,
in allen drei Fixtures, durch jede Stufe der Kette hindurch.
s [\x20-\x7e]{4,}asciis (?:[\x20-\x7e]\x00){4,}z utf-16-ler )r r r0 r )r r4 kettens r zeichenketten_aus_binaerdatenr s {{#6AC ggi w' CF C
$?JL wwy Y7 L LF M CLs &B'B
z+'([^']*(?:\\\\[\w.-]+\\|[A-Za-z]:\\)[^']*)'z((?:\\\\[\w.-]+\\|[A-Za-z]:\\)[^\s\"'<>]*c dfd dfd }dfd }dfd }t j || } t j || } t j || S )u Ersetzt Pfade und Adressen deterministisch, formerhaltend.
Formerhaltend heisst: aus einem Quellverweis wird wieder ein
Quellverweis. Wer ihn durch ein Wortpseudonym ersetzt, macht aus
`VLOOKUP($D23, '\\server\[Mappe.xlsx]Blatt'!$A:$B, 2, 0)` eine
ungueltige Formel — und die Fixture soll gerade zeigen, dass Formeln und
ihre gecachten Ergebnisse erhalten bleiben.
c x t j dz | z j j d d S )Nz|pfad|r r r r r )rW r^ s r markez%neutralisiere_adressen..marke s4 ~~th 4 < < >?IIKBQOOr! c T dxx dz
cc< d | j d dS )Nadressen_neutralisiertr& z"'\\beispiel.invalid\ablage\[mappe-z .xlsx]Blatt'r r4 r r8 s r pro_verweisz+neutralisiere_adressen..pro_verweis s1 *+q0+7aggaj8I7J,WWr! c R dxx dz
cc< d | j d S )Nr
r& z\\beispiel.invalid\ablage\r r r s r pro_pfadz(neutralisiere_adressen..pro_pfad s/ *+q0+/aggaj0A/BCCr! c | | j d }t | t v r|S dxx dz
cc< d | S )Nr r
r& zhttps://beispiel.invalid/)r0 r r )r4 rW r r8 s r pro_adressez+neutralisiere_adressen..pro_adresse sD ggaj :, ,J*+q0+*5:,77r! )rW r* rb r* r` ) QUELLVERWEISrL NACKTER_PFADr )r r^ r8 r r r r s `` @r neutralisiere_adressenr sQ PXD8
;
,C
8S
)C ;;{C ((r! c dfd dfd dfd }dfd }t j || } t j || S )uy Letzter Durchgang ueber jeden Eintrag: was eine verbotene Inhaltsklasse
trifft oder eine Personenwortmarke traegt, wird ersetzt — egal wo es steht.
Der Grund steht in den Blaettern selbst. Bis hierher ersetzte der
Anonymisierer auf einem Blatt ``-Text und ``-Werte; ein Name in einem
ATTRIBUT desselben Blattes (Gueltigkeitsmeldung, Hyperlink-Hinweis,
Kopfzeile) kam unveraendert durch. Dieselbe Bauart wie alle Vorfaelle
davor: eine Stelle, an die keine Regel gedacht hat.
Diese Sicherung listet keine Stellen mehr auf. Sie prueft jeden Wert und
ersetzt den, der nicht in eine Fixture gehoert. Damit kann `pruefe_ausgabe`
nichts mehr finden, was hier nicht schon behandelt waere — die Pruefung ist
danach eine Regressionssperre, keine Entdeckung. Entdeckt wird durch ein
unabhaengiges Review; das ist Verfahren, nicht Werkzeug.
c t j dz | z j j d d }dxx dz
cc< d| S )Nz |sicherung|r sicherung_ersetztr& z
anonymisiert-r )r< r r^ r8 s r ersatzz letzte_sicherung..ersatz sS NND= 04 7??A B L L NsPR S%&!+& qc""r! c N t | yd uxr j | d uS )NTr rd )r< gesperrts r betroffenz#letzte_sicherung..betroffen s/ T " .t#I(=T(IIr! c | j d rd | j d dS | j d S )Nr& r rG r r r4 r r s r pro_attributz&letzte_sicherung..pro_attribut s= -6qwwqz-BF1771:&'q)RPQ
Rr! c | j d rd | j d dS | j d S )Nr& r: r r r r s r pro_textz"letzte_sicherung..pro_text s< ,5aggaj,A6!''!*%&a(QqwwqzQr! r< r* rb r* )r< r* rb rf r` )ATTRIBUT_BELIEBIGrL
TEXTKNOTEN)r r^ r r8 r r r r s ``` @@r letzte_sicherungr$ s? "#
J
SR
c
2C >>(C ((r! z^<(?:cp:lastModifiedBy|dc:creator|dc:lastModifiedBy|DisplayName|UserName|Author)[^>]*>([^<]+).# s 7A299Q<7s !u )(?![A-Za-zÄÖÜäöüß]))setzipfileZipFilenamelistrv endswithr r PERSONENFELDr NAMENSTOKENr r0 r r compiler sortedr )srctokenr r r r4 r, s r personen_tokenr8 s eE NJJL ND??#>?==(&&,%%gy9C!**3/
N[-@-@-LM!'')MM
N
NN
::)
((7 7
7 8
( )*,$$ 0 0 NN Ns BD28D- D2-D22D;c p d
fd | dk( r d fd }t j || S | j d r?d fd }t j || }| dk( r d fd }t j || }|S d fd } d fd }
t
j | | }t j |
| S ) u Pseudonymisiert Werte in Eintraegen, die keine Blaetter sind.
Der PivotCache fuehrt seine Werte als ATTRIBUT (`