Simple Benchmark - Diskussion

[hpk]

Werbung (verschwindet nach Registrierung)

Aus aktuellem Anlass möchte ich gerne einen, bzw. zwei Threads starten zum Thema «Simple Benchmark». Seit dem Aufkommen von KI ist viel Bewegung im Markt, die Hersteller loben ihre Hardware mit KI-fähigen Prozessoren und Grafikkarten.

Für mich stellt sich die Frage, welche Hardware-Systeme eignen sich für die Bildbearbeitung mit Lightroom, Capture One, DxO, Topaz usw. Da ich ein neues mobiles System für die Bildbearbeitung suche, habe ich mir einige Videos angeschaut und denke, es geht in die richtige Richtung. Aber es ist schwierig, sich ein Bild über die tatsächliche Leistungsfähigkeit eines Systems zu machen. Daher habe ich mir überlegt, einen einfachen Test zusammenzustellen, bei dem man die verschiedenen Systeme miteinander vergleichen kann. Das geht aber nur mit «Schwarmintelligenz», sprich, mit vielen Vergleichsmöglichkeiten. Und so ein Benchmark könnte auch Auskunft geben, ob es sich lohnt, beim eigenen PC mal die Grafikkarte auszutauschen, etwas mehr RAM einzubauen oder eine schnellere SSD als Speicher einzusetzen.

So weit so gut. Ich habe mal 3 Original RAW-Dateien (unkomprimiert) aus der A1II online gestellt und die unten aufgeführten Aufgaben durchgeführt. Ich würde mich freuen, wenn ihr dasselbe mit eurem System machen könntet, damit wir viele Vergleichsmöglichkeiten bekommen:

Import
Am besten die 3 ARW-Dateien auf ein lokales Laufwerk kopieren und von dort ins Bildbearbeitungsprogramm importieren, zur besseren Vergleichbarkeit mit ähnlichen Vorgaben. Meinen Test habe ich mit Lightroom Classic gemacht und bei den Vorgaben ‘No Preset’ gewählt, aber die Standardvorgaben für Vorschaubilder übernommen.
Messung der Zeit ab Drücken von ‘Import’ bis zum Zeitpunkt, an dem der Fortschrittsbalken oben links verschwindet.
 

Entrauschen
Als nächstes alle drei Bilder markieren und entrauschen. In Lightroom findet man diese Funktion im Entwickeln-Modul unter Details. Als erstes werden die Optimierungsdaten geladen. Meinen Test habe ich mit einer Stärke von 50% durchgeführt und habe keinen Stapel erstellen lassen.
Messung der Zeit ab dem Drücken von ‘3 Bilder verbessern’ bis der Fortschrittsbalken oben links verschwindet.
 

Panorama
Im dritten Schritt werden die 3 entrauschten Bilder zu einem Panorama vereint. Also zurück ins Bibliotheks-Menu mit den Vorschaubildern, die 3 DNG-Dateien wählen und in Lightroom die rechte Maustaste drücken.
Zusammenfügen von Fotos -> Panorama wählen. Bei meinem Test habe ich ‘Zylindrisch’ gewählt, ‘Kanten füllen’ und ‘Automatische Einstellungen’ angeklickt.
Messung der Zeit nach Drücken auf ‘Zusammenfügen’ bis der Fortschrittsbalken oben links verschwindet.
 

Export
Im letzten Schritt werden die 3 DNG-Dateien und das Panorama exportiert. Bei meinem Test habe ich die 4 Bilder in Originalgrösse als JPG ohne weitere Bearbeitung exportiert.
Auch da wieder: Messung ab ‘Exportieren’ bis der Fortschrittsbalken oben links verschwindet.

Seid ihr neugierig, wie euer System bei diesen Aufgaben performt? Ich auch 😊

Die Geschwindigkeit meiner beiden Systeme, ein Windows Tower PC und ein Windows Notebook habe ich mal gemessen und im Thread «Simple Benchmark – Messwerte» online gestellt. Gerne könnt ihr eure Resultate auch dort posten, der Übersichtlichkeit halber dort bitte nur Messwerte und Systeminformationen eingeben, diskutieren können wir die Resultate hier mit Angabe der Postnummer.

A propos Systeminformationen: Unter Windows findet ihr die Informationen zum System (OS und RAM) mit Drücken von WIN+X (Windows und X Taste gleichzeitig), anschliessend Y zum Abrufen der Systemzusammenfassung. Die Informationen zur verbauten Hardware wieder mit Drücken von WIN+X (Windows und X Taste gleichzeitig), anschliessend G zum Start des Gerätemanagers. Im Gerätemanager findet ihr alle relevanten Infos bei ‘Prozessoren’, ‘Grafikkarten’ und ‘Laufwerke’.
Damit ihr nicht selber an der Tabelle schrauben müsst, könnt ihr optional auch den ersten Post im Thread zitieren und anschliessend editieren.

Die drei 100MB ARW Dateien zum Testen könnt ihr hier runterladen.

Nun bin ich gespannt, was wir hier bezüglich Bildbearbeitungshardware herausfinden können.
Danke für eine rege Beteiligung.

P.S. Nach der ganzen Übung solltet ihr das folgende Pano auf eurer Harddisk haben:

bearbeitet 9. Januar von hpk

[wasabi65]

vor 6 Minuten schrieb hpk:

Meinen Test habe ich mit Lightroom Classic gemacht und bei den Vorgaben ‘No Preset’ gewählt, aber die Standardvorgaben für Vorschaubilder übernommen.
Messung der Zeit ab Drücken von ‘Import’ bis zum Zeitpunkt, an dem der Fortschrittsbalken oben links verschwindet.

Was sind die „Standardvorgaben für Vorschaubilder“? Ich mach beim Import 1:1 Vorschauen. Wobei wenn du mit „Balken“ den Importbalken meinst, dann spielen die Vorschauen keine Rolle?

Wenn ich am WE dazukomme, teste ich es Mal. Wobei die „Tabelle“ im anderen Thread musst du wohl irgendwann durch eine echte Tabelle in Excel oder so zusammenfassen.

[hpk]

Wenn ich beim Import 'No Preset' auswähle, habe ich unter Dateiverwaltung bei Vorschauen erstellen 'Standard' und ein Häckchen bei Smart-Vorschauen erstellen. Mehr ist da nicht.

In meinem User Preset mache ich übrigens auch 1:1 Vorschauen, aber zur Vergleichbarkeit habe ich einfach den Defaultwert belassen. Bin gespannt, was bei deinem Test rauskommt. 

Wie kann man hier vernünftig eine Tabelle einfügen? Einfach Copy & Paste aus Excel?

bearbeitet 9. Januar von hpk

[wasabi65]

Nee, ohne Preset wird an der Einstellung der Vorschauen nichts geändert (also bei mir bleibt es bei 1:1). Ich werde den Test bei "Standard" machen.

Aus deiner Excel Tabelle kannst du sicher screenshots hier einfügen

[hpk]

Okay, ich habe auf dem Google Drive ein Excel-Sheet hochgeladen. Das kann man mit Google Sheets öffnen, ergänzen, kopieren und im Simple Benchmark - Messresultate Thread einfügen. 
Als Tabelle sieht das dann in etwa so aus, wie weiter unten. Man kann aber auch einen ScreenShot der Excel Tabelle einfügen oder die Resultate händisch reinschreiben. Wichtig sind ja die Messresultate.

Aufgabe	Messresultat in Sekunden
Importieren:	7s
	SSD intern
Entrauschen:	33s
	Lightroom Classic
Panorama:	27s
	Lightroom Classic
Export:	5s
	SSD intern
Komponente	Bezeichnung
System:	Windows Tower PC
	Marke Eigenbau
OS:	Windows 11 Pro, 24H2
Software:	Lightroom Classic, 14.1.1
CPU:	AMD Ryzen 9 5950X
	16-Cores @ 3.4GHz
GPU:	NVIDIA GeForce RTX 3090
	24GB Grafikmemory
Memory:	128GB
Laufwerk:	Samsung SSD 980 PRO
	2 TB, NVMe PCIe 4.0

bearbeitet 9. Januar von hpk

[hpk]

vor 11 Minuten schrieb wasabi65:

Nee, ohne Preset wird an der Einstellung der Vorschauen nichts geändert (also bei mir bleibt es bei 1:1). Ich werde den Test bei "Standard" machen.

Okay, ich habe 'No Presets' gewählt und dann das Preset mit 'Standard Presets wiederherstellen' auf die Default-Werte zurückgesetzt. Das hat bei mir die User Presets nicht zurückgesetzt 👍 Ich denke jedoch nicht, dass das den Test wesentlich beeinflusst. Die grossen Unterschiede bestehen beim Entrauschen und beim Pano rechnen ... 

bearbeitet 9. Januar von hpk

[wasabi65]

Werbung (verschwindet nach Registrierung)

Gemacht. Wie erwartet geht mein Laptop mit nur einer IrisXe GraKa bei AI ziemlich lange. Da ich den aber nur selten für so etwas nutze spielt das für keine grosse Rolle.

Danke deines Tests fiel mir zum ersten Mal auf, dass aufm Desktop Win11Pro läuft und aufm Laptop Win11 Home...

🙂

 

[hpk]

@raph-

vor 12 Stunden schrieb raph-:

Import = 3,2s

Denoise = 78,8s

Pano = 17,6s

Export = 4,2s

MacBookPro mit M3max (14C/30C), 36GB RAM, 1TB SSD

macOS Sequoia 15.2

 

Eindrückliche Werte für ein mobiles System. Wie war das mit der Lüftung und Erwärmung während dem Test?
Mein Windows Laptop hat gerauscht wie ein Dyson und man hätte Kaffetassen drauf warm stellen können. Und das bei knapp 3 Minuten Vollast.

[hpk]

vor 14 Stunden schrieb wasabi65:

Gemacht. Wie erwartet geht mein Laptop mit nur einer IrisXe GraKa bei AI ziemlich lange. Da ich den aber nur selten für so etwas nutze spielt das für keine grosse Rolle.

Danke deines Tests fiel mir zum ersten Mal auf, dass aufm Desktop Win11Pro läuft und aufm Laptop Win11 Home...

🙂

 

Danke für den Feedback. Ja, die Grafikkarte ist für AI zentral. Ich hab's wie du, ich entrausche nicht so oft. Es gibt Bilder, da ist es notwendig, und es gibt solche, da nimmt's mich Wunder, ob das Entrauschen noch etwas bringt. Aber wenn das ewig dauern würde, würde ich's wohl meist lassen. 

[raph-]

vor 26 Minuten schrieb hpk:

@raph-

Eindrückliche Werte für ein mobiles System. Wie war das mit der Lüftung und Erwärmung während dem Test?
Mein Windows Laptop hat gerauscht wie ein Dyson und man hätte Kaffetassen drauf warm stellen können. Und das bei knapp 3 Minuten Vollast.

Nur beim Entrauschen ist der Lüfter ab ca. 50s angesprungen, Gehäuse bleibt dabei aber max. handwarm. 

Ich muss noch dazu sagen, dass ich für das entrauschen nie die LR Bordmittel nutze. Mit Topaz dauert der gleiche Auftrag am Mac keine 5s, da hat Adobe noch ganz viel Luft nach oben.

[wasabi65]

vor 18 Minuten schrieb raph-:

Nur beim Entrauschen ist der Lüfter ab ca. 50s angesprungen, Gehäuse bleibt dabei aber max. handwarm. 

War bei meinem IrisXe Surface auch so, obwohl ich vorher das Energiemanagement auf maximale Leistung gesetzt hatte. Dabei macht aber das Display fast mehr aus als die GraKa. Ich war bei deinem Test aber erstaunt, dass das Mac System nicht schneller ist. Ist das nicht eines dieser M Prozessoren? Oder liegt es an der Graka?

Wollte den Test mit meinem neuen M2 iPad machen, aber Lr kann nicht Panos und mehrere Fotos im Batch bearbeiten?

bearbeitet 11. Januar von wasabi65

[raph-]

vor 10 Stunden schrieb wasabi65:

 Ich war bei deinem Test aber erstaunt, dass das Mac System nicht schneller ist. Ist das nicht eines dieser M Prozessoren? Oder liegt es an der Graka?

Naja, in Summe ist ein Notebook in drei von vier Disziplinen teils deutlich schneller ein High-End Windows PC, das passt schon meine ich. Entrauschen innerhalb LR ist offenbar nicht auf die M-CPUs optimiert und deswegen recht langsam. In Topaz DeNoise AI geht das binnen Sekunden für die drei gleichen Bilder.

Ich bin im Frühjahr vergangenen Jahres komplett auf macOS umgestiegen und habe meinen Windows Desktop abgeschafft. Der war leistungsmässig nur leicht unterhalb von HPKs PC, also alles andere als eine Krücke. Beim Arbeiten mit LR + PS ist das MacBookPro so angenehm schnell, wie ich es noch mit keinem Windows Rechner erlebt habe. Egal wie viele Masken, Ebenen oder was auch immer - stets schnell, auch nach Stunden der Bildbearbeitung. 

[wasabi65]

Ja kann gut sein, dass die NVIdia GraKa wirklich für AI sehr gut geeigent sind. Die Desktops, die hier gelistet sind, waren ja nicht wirklich „high end“.

[SMH]

Hallo zusammen, hab´s mal bei meinem PC auch mal gecheckt und dabei mal die Leistung im Taskmanager überprüft...der Flaschenhals, zumindest beim Entrauschen mit LR, ist die Grafikkarte, 100% GPU Auslastung, der Speicher der GPU wird bierbei von 50-90% ausgelastet, die CPU ist bei diesem Prozess nur mit 10% ausgelastet und der RAM mit 15% (RAM=64GB)

hier noch meine Meswerte:

Aufgabe Messresultat in Sekunden     Importieren: 20s   SSD intern     Entrauschen: 485s   Lightroom Classic     Panorama: 31s   Lightroom Classic     Export: 13s   SSD intern     Komponente  Bezeichnung     System: Windows Desktop     OS: Windows 11 Home   Vers. 24H2   Systembuild : 26100.2605 Windows Feature Experience Pack 1000.26100.36.0     Software: Lightroom Classic, 14.1.1     CPU: AMD Ryzen 7 5800X 8-Core Processor                3.80 GHz     GPU: NVIDIA GTX 1060 6GB  Memory: 6GB         Laufwerk: Samsung SSD 970 Evo Plus M.2 2280 PCIe 3.0   2TB
Frage: Könnte eine Nvidia RTX 3060 mit 8GB die Sache beschleunigen? Grüße und ein schönes Wochenende Stefan

[hpk]

Denke schon, dass das ein Upgrade wäre, das die Leistung für AI intensive Tasks verbessern würde:

https://technical.city/de/video/GeForce-GTX-1060-6-GB-vs-GeForce-RTX-3060

https://gpu.userbenchmark.com/Compare/Nvidia-RTX-3060-vs-Nvidia-GTX-1060-6GB/4105vs3639

[wasabi65]

@hpk planst du irgendwann eine grafische Auswertung zu machen? Im Moment habe ich den überraschenden Eindruck, dass die Windows Systeme gar nicht so grosse Unterschiede zwischen Prozessoren Generation oder GraKa (RTX 3er vs neuere). Immer bzgl Denoise, da dies der rechnerinstensivste Schritt scheint.

[hpk]

@wasabi65  Wie stellst du dir so eine Grafik vor? Wie die Balkendiagramme, die man manchmal bei ct' Tests sieht? Mit Pfeil nach rechts für besser?

Ich frage mich, wie genau und aussagekräftig so eine grafische Darstellung dann wäre. Wie du richtig schreibst, ist für die Geschwindigkeit des Entrauschens vorallem die Grafikkarte relevant. Man hätte also ein Balkendiagramm, wie schnell das Entrauschen mit den entsprechenden Grafikkarten wäre. Den Einfluss der restlichen Hardware würde man in diesem Fall einfach vernachlässigen, weil nicht matchentscheidend ... Ich muss mir das mal anschauen, als Anhaltspunkt wäre das sicher spannend. 👍

 

[hpk]

@Aussie1976 interessante Betrachtungsweise, €/s 😛

Du hast auf jeden Fall ein Superschnäppchen machen können, im November 2023. Black Friday?

[wasabi65]

vor 2 Stunden schrieb hpk:

Wie die Balkendiagramme, die man manchmal bei ct' Tests sieht?

Kenne ich nicht. Man könnte eine fach für die verschiedenen Aufgaben einen Balken für jedes System machen. Also eine Grafik mit den Werten der Systeme für Denoise von oben nach unten schnell zu langsam. Der Balken spielt gar keine grosse Rolle so lange das System in wenigen Zeichen zusammengefasst ist und alle nach Zeit geordnet sind.

[Aussie1976]

vor 5 Stunden schrieb hpk:

@Aussie1976 interessante Betrachtungsweise, €/s 😛

Du hast auf jeden Fall ein Superschnäppchen machen können, im November 2023. Black Friday?

War nicht Black Friday, sondern eine andere Aktion. Preis/Leistung ist in der Tat ganz gut. 

[hpk]

Also, ich habe mal eine Zusammenstellung aller Messresultate gemacht, nach Geschwindigkeit aufsteigend. 
Die Tatsache, dass man einen PC mit Intel Core i9 - 9900X auf den vordersten und den hintersten Rängen findet, zeigt eindeutig, wie zentral die Grafikkarte für's Entrauschen ist. 

Prozessor	Grafikkarte	Denoise (s)
Intel Core i9 - 13900	NVIDIA GeForce RTX 4070TI	28
AMD Ryzen 9 5950X	NVIDIA GeForce RTX 3090	33
AMD Ryzen 7 9700X	MSI GeForce RTX 4070	40
Intel Core i7 - 12700K	NVIDIA GeForce RTX 3070TI	51
MacBook Pro M4 Max		53
Intel Core i7 - 14th Gen	NVIDIA GeForce RTX 4060TI	54
AMD Ryzen 9 9900X	NVIDIA GeForce RTX 4060TI	55
MacBook Pro M3 Max		79
Mac Studio M1 Max		92
MacBook M4 Pro		98
Intel Core i7 - 13620H	NVIDIA GeForce RTX 4050	102
Intel Core i7 - 1185G7	Intel Iris Xe	110
MaxBook Pro M1 Max		112
MacBook Pro M1 Pro		150
Intel Core i7 - 1065G7	NVIDIA Quadro RTX 3000	167
Mac Mini M4		198
Mac Mini M1		340
Intel Core i9 - 9900K	NVIDIA GeForce RTX 1650TI	482
AMD Ryzen 7 5800X	NVIDIA GeForce GTX 1060	485

Ich hoffe, das gibt den einen oder anderen Hinweis für Leute, die sich ein neues, performantes System kaufen oder zusammenstellen wollen.

 

bearbeitet 20. Januar von hpk

[wasabi65]

Danke! Interessant auch wie unterschiedlich die RTX GraKa sein können. Gewisse 4er sind schlechter als die besten 3er. Vielleicht benutzen nicht alle User die NVidia Studio Treiber. Diese sollen besser für FotoEBV sein, dafür wahrscheinlich schlechter für Gamen.

[hpk]

Da es etwas schwierig ist, den Import und Export von 3 Bildern exakt zu messen, habe ich heute noch einen Test gemacht mit meinen Import- und Export-Presets mit jeweils 100 RAW Bildern. Während beim Entrauschen fast ausschliesslich die Performance des Grafikprozessors eine Rolle spielt, wird bei meinem Import-Preset nur die CPU genutzt und bei meinem Export-Preset sowohl die CPU wie auch die GPU. Deshalb mal ein neuer Vergleich zwischen meinem Home PC (AMD Ryzen 9 5950X CPU und nVidia GeForce RTX 3090) und dem MacBook Pro (M4 Max).

Mein Import Preset: Vorschauen erstellen - Standard, Smart-Vorschauen erstellen, Datei von ARW in DNG konvertieren und umbenennen
Home PC: 248s
MacBook Pro: 75s

Mein Export Preset: JPG mit 85% erstellen, Datei umbenennen, für Bildschirm schärfen und Wasserzeichen einfügen
Home PC: 53s
MacBook Pro: 28s

Und dann noch je 10 Bilder entschärft:
Home PC: 111s
MacBook Pro: 187s

Die Tests zeigen, dass der M4 Max Prozessor dem AMD Ryzen deutlich überlegen ist, dafür etwas schwächer in der Grafikperformance im Vergleich zur RTX 3090. Insgesamt ist die Performance für ein mobiles Gerät beim MacBook Pro echt beeindruckend!

[Snofru]

Ich könnte mir auch vorstellen, dass beim Import und Export auch die Geschwindigkeit der SSD eine Rolle spielt. Meine Samsung 870 QVO ist sicher eher langsam, die Intel CPU i7 14700K dürfte eher schnell sein. Z.B. scheint @heinrich wilhelm die gleiche CPU wie ich zu haben, importiert aber schneller.