[Gelöst] Fortschritte bei der Produktion der Timberwolf Server 950/960 (Video)

[Judas_z]

Ein kleine Update das Stefan vergessen hat, aber thematisch hier ganz gut rein passt.

Nicht nur bei der Produktion der 950er geht es vorran. Diese Woche haben wir auch die Prototypenplatinen der Audioplatinen für den 960er beauftragt. Wenn alles gut geht wissen wir auch bald ob hier die erste Version für unser Platinenorigami für fortgeschrittene alles im ersten Versuch passt.

[knatti]

Freue mich auch dass ihr bei der Hardware weiterkommt ... aber dieses Verwaltungszeug.

Von dieser anderen Firma habe ich wegen SEPA noch nichts erhalten (auch nichts im Spamordner), ist das noch in Abwicklung oder sollten schon alle was bekommen haben?

[StefanW]

Hallo, wir sind auch nicht sehr glücklich über die Verwaltung. Mangels geeignetem Programm machen wir das manuell mit einer großen Excel-Tabelle. Das muss besser werden.

Der Punkt ist aber auch, die Kunden haben dermaßen viele Sonderwünsche, Verschiebungen hier, Änderungen dort, Migrationen vor Auslieferung von einen auf den anderen Server, Änderung der Lieferadresse. Ihr glaubt nicht, was den ganzen Tag da kommt und da wir eine brave und kundenorientierte Firma sind, machen wir das auch alles möglich.

DAs frisst aber mehr Zeit als wir haben, daher sind wir auch in Bearbeitungsrückstand. Zudem müssen wir auch viel mahnen, weil manche eben nicht zahlen oder das rauszögern. Wir haben da mehrere Pakete mit (im Vertrauen schon) fertig gebauten Servern und der Kunden zahlt weder noch bekommen wir Antwort. Ist nur eine winzige Minderheit, aber macht eben auch Arbeit.

==> Wir warten immer noch auf eine knapp dreistellige Anzahl von Care-Verträgen von den Kunden. Das läuft leider zäh.

==> Es haben etwa 90% aller derjenigen, die einen Care eingesandt haben, diesen unterschrieben zurückbekommen und das email zur Anmeldung von GoCardless bekommen. Wieviel im Spam landet ist schwer abzuschätzen.

Vorschlag: Wer seinen Server bezahlt und den Care eingesandt hat und das mehr als zwei Wochen her ist, sollte ein Ticket unter vertrieb at wiregate dot de aufmachen.


Drückt die Daumen: Heute soll das wichtigste letzte Bauteil für die 950er kommen!!!

lg

Stefan

Hinzugefügt nach 2 Stunden 24 Minuten 48 Sekunden:
Eine bitte, weil jetzt eMails kommen mit "habe alles bezahlt, aber noch keinen Server" und sich auf diesen Thread hier beziehen.

==> Ihr seht doch, dass die Server hier am Entstehen sind und demnächst ausgeliefert werden. Was sollen wir mir solchen überflüssigen eMails (von einem Leser dieses Threads). Welche Antwort über die Info in diesem Thread hinaus wird erwartet???

Bitte, wir ertrinken schon in Nachfragen, bitte nur das nötigste. Es verzögert sich doch so alles nur noch mehr, weil wir haben nur einen kleinen Vertrieb. Deshalb muss der Produktionsleiter beim Beantworten aushelfen und das verzögert doch alles noch mehr. Bitte tut uns den Gefallen und schreibt nur bei wichtigen Dingen, also wenn ihr auf Care / SEPA wartet.

==> Wer alles bezahlt und unterschrieben hat sollte bitte nicht schreiben. Jeder wird automatisch beliefert, wenn er "dran" ist. Lasst uns bitte unsere Arbeit machen.

lg

Stefan

[Judas_z]

Kurzes Update an den Chef über das Forum:

Die SOMs kamen und Matthias wird sich einem intensivem Test widmen sobald er den 1W-Test abgeschlossen hat.

lg Julian

[Judas_z]

Eine weitere Eilmeldung an den Capo über das Forum (passt hier rein und diese Form der Berichterstattung macht mir Spaß).

Heute kamen auch die Prototypen der Audioplatinen für den Timberwolf 960Q. Ich habe ein paar Korrekturen eingearbeitet und die Serie bestellt.

So nun geht es meinem Magen zuliebe ab nach Hause

[Dragonos2000]

@Judas_z Keine schlechte Methode, alle auf dem Laufenden zu halten. Sehr effizient

[StefanW]

Yeah, sehr große Fortschritte heute!

die letzten wichtigen Bauteile für die 950er / 960er (und werden auch für 350er genutzt) sind gekommen: die CPU-Module

Die Beschaffung war ein kleiner Krimi. Bestellt und angezahlt bereits im Juni 2018! Sonderanfertigung für uns, weil Prozessor und RAM für uns aufeinander gebondet wird ("Cip-on-Chip Stacking") um Platz auf dem Board zu sparen. Dazu noch (bei den 960er) die Chips für Dual-Band-WLAN und S/PDIF Audio. Es sind also zwei verschiedene Module. Heute geliefert.

Ein paar Impressionen:

Boards, Boards, Boards (für 960er mit WLAN und Audio Chip):




Und nochmal jede Menge CPU-Boards für den 950 er (hat zwei Chips weniger):




Das war nochmal ein wichtiger Schritt, jetzt können wir die Server komplettieren. In den letzten Tagen ist auch viel am Prüfstand passiert.
Weil am Prüfstand werden alle Interfaces getestet, also Ethernet, WLAN, Audio, KNX, CAN, DMX, 1-Wire, USB und seriell und alle Speicher. Jede Funktion wird genutzt und es wird geprüft.

Am 1-Wire Bus wird die Kurzschlussfestigkeit und Erkennung geprüft und Sensoren werden sowohl Parasitär als auch und Nicht-Parasitär getestet, Spannungslagen getestet usw. Das wird mit jedem eingebauten Kanal gemacht. Dazu wird eine Relaiskiste angeschlossen, die das umschaltet. Der CAN-Bus wird teil eines CAN-Netzwerkes und tauscht Daten aus, der KNX sendet ebenfalls Telegramme an eine Überwachungsmaschiene. Mit dem DMX werden ein paar Schatungen vorgenommen und diese werden gemessen und über den USB wieder zurückgegeben.

Wenn alles funktioniert und klappt, dann wird noch der Flash initialisiert, partitioniert, eine verschlüsselte partiion aufgesetzt und dann die Software aufgespielt.


Mit den neuen CPU-Modulen und dem Kühlköroer sieht es dann so aus:






Wenn jetzt nichts mehr dazwischen kommt, dann beginnen wir mit den 950ern mit der Auslieferung in der nächsten Woche. Drückt uns die Daumen.


Hinweis: Für die 960er fehlen noch die Audio-Platinen, die kommen auf den schwarzen Stecker vorne links. Zulauf und Produktion in ca. zwei bis vier Wochen.

lg

Stefan

[jrues]

Gibts was neues an der Front? Sind die ersten Auslieferungen am laufen?

[StefanW]

Guten Morgen,

hier ein kurzer Bericht zur aktuellen Lage:

• Wir kämpfen derzeit noch mit den letzten Details des automatischen Rollouts
• Vorallem die Partitionierung des Flash und dessen Formatierung als pSLC hat uns Kopfschmerzen bereitet
• Und dann wollte der Netzwerktreiber auch nicht so richtig
• Und der uBoot wollte partout nicht aus der Boot-Partition starten
• Das hat uns nun eine Woche (mehr) gekostet, als gedacht. Das läuft nun.
• Derzeit arbeiten wir an der Initialsierung des Crypto-Chip des eingebauten PBMs und dessen Registrierung
• Und dann müssen die Testsequenzen noch gefinished werden, sollte aber nicht das große problem werden

Kurz: Diese Woche wird leider doch nichts mehr, dafür aber nächste und dann auch schon doppelt so viele, weil die Endmontage weiter läuft.



Hintergrundinfo: Vom halbierten Flash der 10 mal länger hält - oder was zum Teufel ist pSLC:

Da ihr gerne was über Details wissen wollt, hier noch ein paar Feinheiten:

Die Vorteile von Flash-Speichern sind die geringe Baugröße, der geringe Stromverbrauch und vor allem die enorme Zugriffsgeschwindigkeit - vor allem wenn man das mit mechanischen Festplatten vergleicht. Viele Produkte der letzten 20 Jahre wären ohne Flash nicht möglich gewesen (angefangen von den dadurch kleiner werdenden iPods, Smartphones, Tabletts und schnelle PCs). Ich komme noch aus einer Zeit, da war das 5 MB Festplattenlaufwerk so groß wie eine Waschmaschine und die Wechselfestplatte hatte die Größe einer überdiemensionalen Kuchenabdeckung:


(Steve Parker - Flickr, Lizenz CC BY 2.0)

So wunderbar die Flash-Speicher auch sind, sie verbrauchen sich ein klein wenig. Und zwar bei jedem Löschvorgang wird ein Teil der isolierenden Oxidschicht in den Speicherzellen beschädigt. Es gibt noch ein Dutzend weiterer Effekte die zur Alterung beitragen, aber das ist der wichtigste.

Da wir unsere Produkte auf lange Haltbarkeit auslegen, war es uns immer schon wichtig, nur den besten Flash zu nehmen und diesen maximal zu schonen.


Bereits beim WireGate Server berücksichtigt:

Beim Wiregate Server haben wir daher - schon 2009 - einen Industrial Grade SLC Flash eingebaut, der alleine ein Drittel des HW-Preises ausgemacht hat (bei heutigen Preisen sind es übrigens 50%). Zudem haben wir einen speziellen Cache eingebaut, um das Schreiben auf dem Flash zu reduzieren, letzteres gehört heute immer noch zu einem Betriebsgeheimnis.


Andere haben da weniger drauf geachtet:
Warum das alles so wichtig ist, konnte man beim Wettbewerb sehen. Bei den kleinen Server aus Österreich bootet das System von einer kleinen Micro-SD in Consumer Ausführung, also MLC-Speicher. Das ging solange gut, bis man dort das Feature einschaltete, Datenaufzeichnung / Logging zu betreiben. Dies war wohl anfangs sekündlich einstellbar mit dem Effekt, dass diese Karten binnen Tagen defekt wurden und die Server ausgefallen sind (kann man in allen betreffenden Foren nachlesen). Der Hersteller brauchte damals viele Monate um das Problem zu beheben....


Die Haltbarkeit von Flash-Speichern hinsichtlich der Löschzyklen:

• SLC der ersten Generation schafft pro Zelle etwa 100.000 Zyklen
• SLC der nachfolgenden Genertionen (kleinere Zellen) kommen auf etwa 60.000 Zyklen
• MLC liegen bei etwa 3000 Zyklen
• TLC kommen nur noch auf etwa 300 Zyklen

Leider sind SLC mittlerweile sehr teuer geworden (hinsichtlich der Speichervolumen die man heute braucht) und werden auch nur in geringem Umfang hergestellt. Das meiste an Flash wird in MLC (2 Bit pro Zelle) und in TLC (drei Bit pro Zelle) gebaut. Vor allem der günstige Flash mit hohem Volumen (ab 64 GB aufwärts) wird nur noch in TLC verbaut.

300 Zyklen ist nicht die Welt. Für das Speichern von kaum veränderlichen DAten und Betriebssystemdateien reicht das allerdings locker. Aber bei Datenbanken mit hoher Veränderungsrate kann sich das schon verbrauchen. Betreiber von Dash-CAMs kenen das, nach einem viertel / halben Jahr ist der Speicher "durch".


Wear-Leveling oder alle Zellen sollen sich gleichmäßig abnutzen:

Um dem schnellen Tod einer solchen TLC zu begegnen, zählen die Flash-Controller mit, auf welche Zelle (besser eine Reihe davon) wie oft geschrieben wurde (und och ein paar Dutzend Details mehr) und verteilen das so, dass alle Zellen hinsichtlich der Zyklen geschickt ausgelastet sind. Mittlerweile gibt es noch einen Trick. Die Controller partitionieren den Speicher und nutzen einen Teil der Zellen mit weniger Bit pro Zelle, bedeutet (z.B. bei den Samsung Speichern), dass ein Teil der Flash-Zellen nicht als 3-Bit (TLC), sondern als 2-Bit und 1-Bit Zellen genutzt wird, weil damit die Anzahl der Zyklen solcher Zellen massiv steigt. Zum einen steigt auch die Zugriffsgeschwindigkeit, so dass man diese als schnell Schreibcaches verwenden kann und durch geschicktes Umlagern dehnt man die Endurance aus. Bedeutet, zuerst werden die Zellen als 1-Bit genutzt, dann nach einer gewissen Nutzung als 2-Bit und zum "Ende" hin als 3-Bit. Durch diesen Trick kommt Samsung auf etwa durchschnittlich 600 Zyklen pro Zelle. Wenn man nun die Kapazität ausreichend groß macht und nicht alles nutzt, dann reicht das sehr lange.


Tricks beim Timberwolf Server:

Für die Hutschienenserver wollten wir das besser. Daher lassen wir dort den größten derzeit erhältlichen Flash (gemessen an der Baugröße) auf dem CPU-Board montieren, einen 32 GByte Samsung MLC Flash.

Und hier kommt nun "unser" Trick: Den allergrößten Teil dieses Flash-Specihers formatieren wir als SLC, also nur 1-Bit pro Zelle (anstatt der 2 Bit für die er ausgelegt ist). Das ist damit ein Hybrid, gebaut für 2 Bit, genutzt nur für 1 Bit. Damit sinkt zwar die Kapazität auf die Hälfte (also 16 GB), aber die Anzahl der Zyklen steigt extrem: Etwa auf 30.000 Zyklen. Hurra!

Diese Art von Flash-Speicher, also MLC wie SLC zu betreiben nennen wir pSCL (es gibt mehrere Bezeichnungen dafür am Markt). Das p steht für Pseudo. Es kostet zwar den halben Speicherplatzes, aber erhöht die Zyklenanzahl um ungefähr den Faktor 10, also 30.000 Zyklen anstatt "nu" 3.000. Das kostet zwar ein kleines Vermögen, weil der 32 GB Chip ist sehr teuer, aber das war es uns wert - für eine lange Lebensdauer der Timberwolf Server.


Die Probleme in der letzten und dieser Woche mit der Umsetzung

Soweit so gut, aber den Controller dazu zu bringen, den Flash anders zu formatieren war mal wieder eine (vorher nicht abschätzbare) Fleißarbeit).

Die Module haben wir bekommen mit dem uBoot auf der großen partition. Blöd nur, dass man diese nicht auf pSLC umstellen kann, wenn was drauf ist. Tja, dann wollte der uBoot aber nicht von der Boot-Partiiton laden, dabei haben wir dann das CPU-Modul erstmal gebricked. ("gebricked" = durch falsche Konfig so wertlos gemacht, so dass man ihn auch als Ziegelstein verwenden kann. Auf Deutsch würde man sagen, man hat sich den Ast abgesägt auf dem man sitzt).

Aber: da gab es doch ein Experimentierboard, dass einen der 200 Pins gen Masse zieht und damit bootet er von SD-Card. Yeah, ha auch funktioniert und aus dem Brick, wurde wieder ein CPU-Board. Also ab zur Buchhaltung, die vorzeitige Abschreibung rückgängig machen:




Nächstes Problem: Endlich war dann nach zig versuchen der uBoot auf der Boot-Partition, wunderbar, aber damit funktioniert der Netzwerktreiber nicht mehr - damit konnten wir aber den eMMC-Flash-Manager nicht laden zum Ändern der Controller-Konfig. Ahhhh...

Nach einem längeren Krimi, der uns drei oder vier Tage gekostet hat, war es dann gestern (Donnerstag) soweit: Das CPU-Modul bootet erstmal von der falschen Partition, lädt den Netzwerktreiber und dann holt man über tftp ein Image mit dem der uBoot auf die Boot-Partiiton kommt, dann restart (demnächst per Aktor, weil es muss ein Kaltstart sein) und dann nochmal booten, Netzwerk, tftp, image und wir können den Flash umpartitionieren und umformatieren auf pSLC. Hurra!

Den Rest vom Boot-Prozess haben wir schon länger vorbereitet, nur für das Detail mit dem pSLC mussten wir auf die entsprechend ausgestatteten Module warten, die eine Sonderanfertigung für uns sind.


Lange Rede, kurzer Sinn: Das hat uns jetzt fast eine Woche gekostet und ist der Grund dafür, dass wir die Auslieferung nun nicht diese Woche beginnen konnten.

Warum ich das erzähle: Nun, für die wartenden denke ich, ist es schon wichtig zu sehen, dass wir es uns nicht einfach - trotz allem Druck - leicht machen (wie praktisch die meisten der anderen Hersteller wo das Controlling über die Bauteile bestimmt und alles nur billig sein muss) sondern wir für Euch das technisch beste und verfügbare (aber anbstrengende) realisieren, damit die Server eben nicht fünf Tage nach Ablauf der Gewährleistung defekt werden, sondern solange halten, wie man das technisch machen kann und wir schätzen das hier schon auf durchschnittlich 15 Jahre. Durchschnittlich in dieser Hinsicht bedeutet, es werden 60% durchaus vorher defekt werden und 40% erst danach.

Und noch eine Sache am Rande. WIr bauen ZWEI Flash-Speicher in alle Server ein. Der zweite Flash ist für Backup und ist ebenfalls ein pSLC-Speicher mit hoher Zyklenfestigkeit und einer Endurance von 10 Jahren (Datenspeicherung ohne Strom)! Es ist ein deutsches Markenfabrikat (Flash von Tosiba) und kostet das zehnfache von normalen Micro-SD-Karten und ist in Stückzahlen auch nich schwer erhältlich.

Ich würde mich freuen, wenn Ihr - in Diskussionen mit Freunden - auch auf die besonders wertige HW hinweist und die vielen kleinen, aber wichtigen Details, an die hier gedacht wurde. Und die sehr großzügige und teure Ausstattung mit hochwertigen und doppelten Flash-Speichern gehört dazu. Das ist eines der vielen Alleinstellungsmerkmale. Bitte teilt diese Info auch.


Für die auf den Server wartenden: Bitte verzeiht uns diese Woche der abermaligen Verzögerung. Dafür dass der (nicht wechselbare) Speicher die zehnfache Zeit halten wird, dürfte es das Wert gewesen sein.

lg

Stefan

[gospelrock]

Ich habe kein Problem wenn ich noch eine Woche länger auf den 950er warten muss, verursacht durch solche unvorhersehbaren Probleme.

Ich finde es außerdem sehr gut, dass Ihr Produkte entwickelt, die auf Langlebigkeit ausgelegt sind und nicht gerade so den Ablauf der Garantiezeit überstehen! Das findet man heutzutage leider viel zu selten!

Vielen Dank dafür, dass Du uns auf dem Laufenden hälst! Mir hat es natürlich auch schon in den Fingern gekribbelt nach den Fortschritten zu fragen - gerade vor dem Hintergrund, dass meinem Wiregate gerade "die Luft ausgeht".

LG,
Peter