Mit welchen Tools könnte ich denn #JSON Dateien mit ~700MB Größe handhabbar machen?
Die Größe ist das Problem, da werden alle Parser, die erst mal ein Modell im Speicher bauen, quasi unbrauchbar.
Sprich: zum Beispiel alle Objekte mit einem definierten Pfad-Muster (vgl XPATH) in einen JSON-Output (Array) filtern?
Nächste Frage: Gibt es irgendwo eine Spec des #Friendica Backup-Formats? 😏
Update: github.com/ICRAR/ijson sieht gut aus… Nachher mal testen.
Jaddy /
npub1g5…spp74
2023-12-22 17:15:07
Author Public Key
npub1g5nl3vn59xqkwmsddrd5vfqzch2he43ak3mk07ncfjxfztfpzlzqmspp74Published at
2023-12-22 17:15:07Event JSON
{
"id": "fb2c063749e53a6df34174d1896be815d6f3fb17e0595acfca80f71d233ff1ae",
"pubkey": "4527f8b2742981676e0d68db462402c5d57cd63db47767fa784c8c912d2117c4",
"created_at": 1703265307,
"kind": 1,
"tags": [
[
"p",
"c68c51a78bc3322b6f3c2f44664bcd32aed30538f7b26b639927d3f50c072992",
"wss://relay.mostr.pub"
],
[
"p",
"16d1674bb64ddb08473036eb28a44ef813fe2dc7ceb3e8051ac99eebbca505c9",
"wss://relay.mostr.pub"
],
[
"p",
"d021f723bf55d8281b8e442b95dc7993c81d8ad30647f20466d7dabe4140c1cb",
"wss://relay.mostr.pub"
],
[
"p",
"d07254e7df6b676ec03ed64345d2b211b14cf102696bbb70f5ee155ad30d2ba1",
"wss://relay.mostr.pub"
],
[
"p",
"c413bc61d8b1edcc0a998124e075a691e1588bb233e03b50634d7e580cbb57bd",
"wss://relay.mostr.pub"
],
[
"p",
"531621011db950a9df3a2676217755dd572f5b41d3b8acb4846434fa8320b82b",
"wss://relay.mostr.pub"
],
[
"t",
"Friendica"
],
[
"t",
"json"
],
[
"proxy",
"https://friend.enby-box.de/objects/9802d2f1-4165-85c4-1bc8-097110448503",
"activitypub"
]
],
"content": "Mit welchen Tools könnte ich denn #JSON Dateien mit ~700MB Größe handhabbar machen?\n\nDie Größe ist das Problem, da werden alle Parser, die erst mal ein Modell im Speicher bauen, quasi unbrauchbar.\n\nSprich: zum Beispiel alle Objekte mit einem definierten Pfad-Muster (vgl XPATH) in einen JSON-Output (Array) filtern?\n\nNächste Frage: Gibt es irgendwo eine Spec des #Friendica Backup-Formats? 😏\n\nUpdate: github.com/ICRAR/ijson sieht gut aus… Nachher mal testen.",
"sig": "d20850b150abecaaebe438d12e22ef716c14ebbe4516d5e788ae04623702ef5d546aa060d9933f8c2f7e977595ff0a73daf5b2085d8b2c763f08901a9a83b911"
}