nsj}>dZddlmZddlZddlZddlZddlZddlZddlm Z ddZ ddZ GddZ dd Z dd Z dd Zdd Zed k(r eey)uqErzeugt aus einer realen QAF-Arbeitsmappe eine anonymisierte, strukturtreue Fixture. Das Original wird ausschliesslich GELESEN. Die Ausgabe ist eine neue Datei. ── Warum openpyxl und nicht ExcelJS ──────────────────────────────────────────── ExcelJS kann die realen 8.8-Arbeitsmappen nicht einmal unveraendert zurueckschreiben (Abbruch in cf-rule-xform bei einer bedingten Formatierungs- regel ohne `formulae`). openpyxl schafft den Round-Trip auf Zellebene verlustfrei; gemessen an 220705_QAF_HICE_Vergabe.xlsx bleiben 12 Blaetter, 6 veryHidden, 43 benannte Bereiche, 208 verbundene Zellen, 41 bedingte Formate, 26 Datenpruefungen, 1707 Formeln, 1509 Zahlen und 4833 Texte unveraendert. Bekannte Einbusse, bewusst in Kauf genommen und im Manifest ausgewiesen: die ZIP-Eintraege gehen von 71 auf 35 zurueck. Verloren gehen `customXml/*` sowie die Erweiterungen zu bedingter Formatierung und Datenpruefung. Das sind Dokument-Metadaten ohne fachliche Bedeutung — und sie koennen ihrerseits Kundendaten tragen, weshalb ihr Wegfall fuer eine Fixture eher erwuenscht ist. ── Warum Werte ERSETZT und nicht skaliert werden ─────────────────────────────── Eine Skalierung aller Zahlen mit einem Faktor s bricht die Arithmetik: bei Preis x Menge = Summe stuende s^2 im Produkt, aber s in einer hartcodierten Summe. Eine Skalierung NUR der erkannten Geldzellen wiederum laesst alles stehen, was der Parser nicht zuordnet — gemessen 759 von 1513 Zahlzellen. Dort blieben echte Werte im Klartext. Deshalb: jede Zahl in einer Zelle OHNE Formel wird deterministisch ersetzt. Formelzellen bleiben unangetastet und rechnen sich aus den ersetzten Eingaben konsistent neu. Die Groessenordnung bleibt erhalten (sonst waere die Fixture fachlich unplausibel und Toleranzen/Reconciliation liefen ins Leere), die Ziffern darunter nicht. Damit gilt: KEIN Originalwert wandert in die Fixture. Die Leck-Pruefung am Ende verifiziert das gegen die vollstaendige Menge der Originalwerte, nicht nur gegen die zugeordneten. ) annotationsN)Pathctj|dzdj|zjdj }t j |dddS)N|utf-8big)hashlibsha256joinencodedigestint from_bytes)seedpartshs F/home/aria/work/kadi-v2/scripts/qaf-v2/anonymise/anonymise_workbook.py_digestr=sLs SXXe_4<>!BQ% ''c |dk(ryt|||}|dkrdnd}t|}|dk\r ttt |dz nd}d|z}d|dzz} | |z } ||t t | dzdzdz z} t |jrnt dt | } | t |k(rFt || t |z dzt t | dzz} | t |k(r| dz } || zSdt|vr&tt|jddnd} t| t| d }||k(r't|dt| d  zzt| d }||zS) uErsetzt eine Zahl deterministisch unter Erhalt von Vorzeichen, Groessenordnung und Nachkommastellen-Charakter. Null bleibt Null: eine 0 traegt keine Information ueber die Kalkulation, und sie ist fachlich bedeutsam (Nullkosten-Zugang ist ein eigener Pflichtfall). Ganze Zahlen bleiben ganz — sonst wuerde aus einer Stueckzahl eine Kommazahl und der Parser saehe eine Struktur, die es im Original nicht gibt. r g@@.) rabslenstrrmaxfloat is_integersplitroundmin)valuersheetcoordrndsign magnitudeexplohispannew candidatedecimalsresults rreplace_numberr6Bs z $u %C2DE I+4q.#c#i.! "Q &bC sB aB 7D c#dTk*A..&8 8C U| 3s8$ I &BIB$7!$;s3t9a?P#PQIC N*Q i14E 1Bs3u:##C(,-H 3Ha( )F vs8Q'7&7 77Xq9IJ &=rcReZdZdZd dZed dZd dZd dZd dZ d dZ d dZ y )TextAnonymiseruPseudonymisiert Texte strukturerhaltend. Formular-Beschriftungen bleiben stehen: sie sind Vokabular der BMW-Vorlage, kein Lieferantengeheimnis — und ohne sie erkennt der Parser die Mappe nicht mehr, womit die Fixture nichts mehr pruefen wuerde. Gleiche Texte bekommen dasselbe Pseudonym (sonst waeren Gleichteile keine mehr), und Klammer-Varianten werden getrennt behandelt (sonst faellt die Umbenennungs-Erkennung weg). Pseudonyme teilen sich bewusst KEINEN Wortstamm: "Pos01"/"Pos02" statt "Teil 01"/"Teil 02", sonst gilt jeder Sammelname fuer jedes Teil als Treffer und die Zuordnungsregeln greifen anders als im Original. c||_|Dchc]}|j|c}|_||_i|_i|_ycc}wN)labels_normlabels_normalisedr_map _variants)selfr;rxs r__init__zTextAnonymiser.__init__{s? 9?!@A$**Q-!@ $& )+"AsAchtjdd|jjS)N\s+ )resubstriplower)ss rr<zTextAnonymiser._norms"vvfc1779??#455rc<|j||jvSr:)r<r=)r@texts ris_labelzTextAnonymiser.is_labelszz$4#9#999rc|j}|dk(r|S|j|r|Stjd|r%t tj dd|dkr|Stjd|}|rD|j |jdd|j|jdd S|j |S) N [\d\s.,:/-]+z\Dr(.*?)\s*\(([^)]*)\)\s*r (r)) rHrMrF fullmatchr rG_tokengroup_variantr@rLrawms r pseudonymzTextAnonymiser.pseudonymsjjl "9K == K << -#bffUB6L2MQR2RK LL2C 8 kk!''!*-.bqwwqz1J0K1M M{{3rc |j}|dk(r|Stjd|}|rD|j|j dd|j |j ddS|j|S)uWie pseudonym(), aber ohne die Beschriftungs-Ausnahme. Fuer Stellen, an denen ein Wort keine Beschriftung sein KANN, auch wenn es zufaellig wie eine aussieht — Dokument-Metadaten etwa. Siehe anonymise_workbook_xml.py, ersetze_weiteren_eintrag(). rOrQrrRrrS)rHrFrTrUrVrWrXs rpseudonym_erzwungenz"TextAnonymiser.pseudonym_erzwungensujjl "9K LL2C 8 kk!''!*-.bqwwqz1J0K1M M{{3rc|j|}|dk(r|S||jvr)dt|jdzd|j|<|j|S)NrOPosr03d)r<r>r r@rJkeys rrUzTextAnonymiser._tokensYjjm "9H dii "3tyy>A#5c":;DIIcNyy~rc|j|}||jvr(dt|jdz|j|<|j|S)Nvarr)r<r?r ras rrWzTextAnonymiser._variantsNjjm dnn $$'DNN(;a(?'@"ADNN3 ~~c""rN)r;set[str]rr!)rJr!returnr!)rLr!rfbool)rLr!rfr!) __name__ __module__ __qualname____doc__rB staticmethodr<rMr[r]rUrWrrr8r8ms9 ,66: 0  #rr8c ddlm}ddlm}||dd}t }t }dddddd} |j D]} | j D]k} | D]b} | j} | t| tr| jdr| d xxd z cc<B|| j| j}t| trst| ttfra|j!t| | dk(r| d xxd z cc<t#t| || j$|| _| d xxd z cc<t| ts|j!| t&j)| d k(r&t*j-| }|| k(r| dxxd z cc<O|| _| dxxd z cc<en|j.j1dd|j3||j5t7|||||}| |t9j:|j=j?dS)Nr load_workbookget_column_letterFT data_only keep_links)numbers_replacednumbers_kept_zerotexts_pseudonymisedtexts_kept_labelformulas_untouched=rzrrwrvrOryrx)parentsexist_ok)statsleaksr ) openpyxlrpopenpyxl.utilsrrset worksheets iter_rowsr( isinstancer! startswithcolumnrowrgrr#addr6titler8r<ANONr[parentmkdirsavecloseverify_no_leakr r read_bytes hexdigest)srcdstr;rrprrwboriginal_numbersoriginal_textsr~wsrcellvr*anonrs r anonymisers&0 se =B#&5"uN!"ST!"! =Emm!:<<> :C :JJ9a%!,,s*;./14/,T[[9:488*Ea&a#u.$((q2Av12a72 !/a$%!PDJ,-2-3'"&&q)%++A."4 >>!,Dqy01Q61%) 3494? : :!:FJJTD1GGCLHHJ 3%5~v NEUnnS^^%56@@B DDrc|dk(ryt|dk\rytt|}d|vxr/t|j ddj ddk\S) uTraegt dieser Zahlenwert genug Information, um ein Geheimnis zu sein? Bei 1507 ersetzten Zahlen in einem kleinen Wertebereich kollidieren triviale Werte zwangslaeufig: eine 12 im Original und eine neu erzeugte 12 an ganz anderer Stelle sind kein Leck, sondern Arithmetik. Eine Pruefung, die darauf anschlaegt, meldet 39 Fehlalarme und wird deshalb irgendwann abgeschaltet — das waere der eigentliche Schaden. Charakteristisch ist ein Wert, wenn er sich nicht zufaellig wiederholt: ab drei Nachkommastellen oder ab Betraegen >= 1000. Genau dort sitzen die Kalkulationsgroessen (397.9058, 12.9631), nicht bei Stueckzahlen und Indizes. rFrTrr0)rreprr#r r%rstrip)r(rJs ris_characteristicrs\ z 5zT U5\A !8 >AGGCL,33C89Q>>rc |Dchc]5}tjdd|jj7c}g}dfd }ddlm}ddlm} ||dd } ||dd } | jD]0} | | j} | jD] }|D]}|j}|t|tr#t|tr|jd rE| |j |j"}| |j}t|t$t&fr1|dk7s||k(s|j)d | jd |d|t|ts||r||k(s|j)d | jd |d|d d 3t+}t+}| jD]}|jD]}|D]}|j}t|ts|"t|t$t&fr|j-t'|St|tsd|jd rv|j-|| j/| j/||zD]"}t1|s|j)d|$||zD]"}||r |j)d|d d$|Scc}w)uZwei Pruefungen, beide notwendig. 1. ZELLGENAU: Jede Zelle, die im Original einen Wert trug, muss in der Ausgabe einen anderen tragen (ausser Null, Formeln und Beschriftungen). Das ist der harte Nachweis, dass tatsaechlich ersetzt wurde — und er faellt nicht auf Kollisionen herein. 2. GLOBAL fuer charakteristische Werte: Ein Betrag mit vielen Nachkomma- stellen oder >= 1000 darf NIRGENDWO in der Ausgabe auftauchen, auch nicht an anderer Stelle. Sonst koennte ein verschobener Wert das Geheimnis weitertragen. Asymmetrisch mit Absicht: ersetzt wird nach Regel, geprueft wird gegen alle Originalwerte. Andersherum bliebe jede Zelle unbemerkt, die die Regel nicht erfasst. rDrEctjdd|jj}|dk(xs3|vxs-t tj d|jS)NrDrErOrP)rFrGrHrIrgrT)tnorm labels_norms ris_trivial_textz'verify_no_leak..is_trivial_text!sUvvfc1779??#45rzbT[0bDoWXW^W^W`9a4bbrrrorqFTrsNr{z unveraendert !z: z,charakteristische Zahl weiterhin vorhanden: z"Originaltext weiterhin vorhanden: ()rr!rfrg)rFrGrHrIrrprrrrrrr(rrgr!rrrrr#appendrrrr)rrrrr;rArrrprrwb_srcwb_outws_srcws_outrrrr*r2 out_numbers out_textsrnrrs @rrr s"DJJa266&#qwwy'89JKEc'0 3%D AF 3%D AF##S %##% SC SJJ9 1d 3a%!,,s*;,T[[9:488*EUm))a#u.Av#( }V\\N!E7"QC%PQ3'0BsaxLL=awb3B!QR S SS$"eK%I %<<> %C %JJa&!)a#u.OOE!H-3' S0AMM!$ % % % LLN LLN  +M Q  LLGsK LMi 'Hq! LL=afXF GH LmKs:K(ctjt}|jd|jd|jddd|jdd |j }t |j t |j}}|jstd |tj y ttjt |jj!dd}t#||j$at)||||j$}ttj*|dd d|dr{tdt-|ddtj t/t|dddD] }td|ztj "|j1dytd|td|dtdy)N) descriptionsourcedestz--labelsTz JSON mit Formular-Beschriftungen)requiredhelpz--seedzqaf-golden-2026)defaultzQuelle fehlt: )filerrr;r~F)indent ensure_asciiru ABBRUCH — z Originalwert(e) in der Ausgabe:z ) missing_okrz Fixture: z SHA-256: r zHLeck-Pruefung bestanden (kein Originalwert, keine Originalzeichenkette).r)argparseArgumentParserrk add_argument parse_argsrrrexistsprintsysstderrrjsonloadsr; read_textr8rrrdumpsr sortedunlink)apargsrrr;r5leaks rmainrWs  W 5BOOHOOFOOJ4VOWOOH&7O8 ==?DDKK $tyy/C ::< se$3::6 D-77@A(K LF &$)) ,D sC 3F $**VG_QU CD g s6'?344TU\_\f\fg3vg/0"5 0D $+CJJ / 0 d # Ku  IfX&' () TU r__main__)rr!rr!rfr) r(r#rr!r)r!r*r!rfr#) rrrrr;rerr!rfdict)r(r#rfrg) rrrrrz set[float]rrer;rerfz list[str])rfr)rk __future__rrr rrFrpathlibrrr6r8rrrrrh SystemExitrmrrrs"H# "( (VO#O#h4Dn?*G#+G5=GBKGT D z TV r