Multipart-upload to AWS

In de laatste post had ik het over het uploaden van grote files naar Amazon Glacier. Dit omdat ik een grote file naar Amazon Glacier wil uploaden. De backup van mijn site is 1,8 Gigabytes groot. Dat betekent dat het uploaden naar de Cloud wel eens lang kan duren.

Gelukkig biedt AWS uitkomst. Het uploaden naar de Cloud kan in kleine stukken. Een file van 1,8 Gigabytes groot wordt in kleine stukjes gehakt om vervolgens naar de Cloud geupload te worden.

Het deed me gelijk denken aan het programma Winrar. Ook dit programma biedt de mogelijkheid om een grote file (denk aan een film) in kleine stukjes onder te verdelen waardoor het mogelijk wordt om de film op Usenet te plaatsen.

AWS gebruikt hetzelfde principe. Een multipart-upload (zoals het genoemd wordt) naar Amazon Glacier gebeurt in twee stappen. Allereerst moet je Amazon Glacier kenbaar maken dat je een multipart-upload wilt doen. Dit gebeurt met hetvolgende command:

aws glacier initiate-multipart-upload –account-id – –part-size 1048576 –vault-name my-vault –archive-description “multipart upload test”

Vervolgens krijg je een id. Daarmee kun je tenslotte de files in kleine stukjes uploaden naar AWS Glacier. Dit heeft vele voordelen. Wanneer de upload onderbroken wordt, kun je deze hervatten. Wanneer de upload onderbroken wordt, zijn er nog geen files aanwezig op Glacier. Slechts wanneer alles geupload is, is de upload geslaagd en is de upload aanwezig in de Cloud.
Dit is het commando:

aws glacier upload-multipart-part –body part1 –range ‘bytes 0-1048575/*’ –account-id – –vault-name my-vault –upload-id 19gaRezEXAMPLES6Ry5YYdqthHOC_kGRCT03L9yetr220UmPtBYKk-OssZtLqyFu7sY1_lR7vgFuJV6NtcV5zpsJ

Maar ik ondervond een probleem. Ik kon niet vaststellen of er daadwerkelijk iets gebeurde nadat ik het commando had gegeven. In de terminal was geen progress bar te zien, zoals je dat kan zien wanneer je iets downloadt van het internet met het commando ‘wget’.

wget in terminal

Een zeer groot gemis. Want hoe lang gaat de download nou daadwerkelijk duren?

Dit bericht is geplaatst in Uncategorized. Bookmark de permalink.