Sur le marché actuel du stockage en ligne il n’existe pas de meilleur rapport espace/prix qu’Amazon Cloud Drive avec son offre de stockage illimité pour 70$/an. Bien entendu la notion d’illimité peut assurément être conditionnée du jour au lendemain par Amazon mais avec des « si » on ne fait rien.
Une fois monté sur mon PC, mon espace de stockage ACD m’indique 100To d’espace libre. Certes 100To ce n’est pas « illimité » mais une machine ne sachant pas afficher cette notion on fera avec. Puis d’ici à ce que je les remplisse j’ai le temps d’aviser… :)
MàJ : Sachez que depuis un bon mois rClone supporte désormais l’écriture pour Amazon. Concrètement cela veut dire que pour copier un fichier sur un Amazon chiffré il n’est plus nécessaire d’exécuter une commande du type mais il suffit tout simplement de copier le dit fichier avec cp ou, par exemple, « copy » de AutoTools dans ruTorrent voir de mettre ce montage en dossier final pour les téléchargements via SABnzbd/NZBget.rclone copy
Et si on l’utilisait pour y stocker du contenu multimédia ?
Emby (ou Plex) est un gestionnaire de contenus (audio, vidéo, livres, notamment) qui permet de streamer, transcodé ou non, depuis un serveur dédié, un VPS ou un simple PC qui fait office de serveur. Kodi est un gestionnaire multimédia plutôt à usage local.
Imaginez stocker en ligne tous vos contenus, sans limite d’espace, et pouvoir les lire depuis n’importe quel endroit pour peu que vous ayez une connexion Internet, pour le prix mensuel d’un bon serveur dédié de 11-12To en RAID0 et donc sensible aux pannes/crash disque. Le Cloud d’Amazon permettant en effet ne pas craindre la perte de données.
Dans ce tutoriel j’utilise Emby, sur un VPS personnel : Debian8 Ubuntu16 nu (rClone FUSE fonctionne mal avec Debian chez moi), 2CPU, 4GO RAM & 100Go d’espace disque. Si j’avais la ligne Internet adéquate je pourrais également monter mon ACD/déchiffré sur mon « PCTV » où se trouve Kodi et il pourrait alors lire directement le contenu depuis mon cloud.
Pour info, il ne semble pas possible de monter un espace chiffré via rClone sur Windows.
Sommaire
- Risques et limites
- Principe
- Installation de FUSE
- Installation de rClone
- Configuration de rClone, remote non chiffré
- Test
- Configuration de rClone, remote chiffré
- Tests
- Exemple d’organisation/utilisation
- Tweaks rClone
- Scripts
- Synology
- Montage des remotes sur d’autres machines
Il faut chiffrer !
Evidemment Amazon est un GAYFAM (Y=Yahoo). Evidemment Amazon lutte contre la contrefaçon. Evidemment, que ce soit du Cloud perso/pro, du légal ou non, c’est du bon sens que de chiffrer votre contenu afin de le préserver des éventuels regards indiscrets, voire des bots à la recherche de fichiers sous copyright (revendiqués par Amazon).
Si on parle de données personnelles (Cloud perso) le système de chiffrement importe peu et libre à chacun d’utiliser ce qu’il souhaite. Le principal étant que la clé de déchiffrement ne se trouve pas sur le cloud.
En ce qui concerne le contexte de ce tutoriel, à savoir des données multimédia devant être accessibles par un logiciel d’indexation/lecture tiers, il y a 2 solutions : utiliser ACD_cli (Amazon Cloud Drive en lignes de commande) et chiffrer via encFS (une sur-couche système chiffrée) ou rClone (rSync pour les Clouds). Et évidemment il faut chiffrer d’une part (stockage) et déchiffrer d’une autre (indexation/lecture).
Il faut faire ça en bonne intelligence
En effet si Amazon propose de l’illimité c’est qu’évidemment ils comptent sur le fait que nous ne seront pas des milliers à réellement « taper dedans ». Le fait de chiffrer le contenu peut représenter en soi une alerte alors si c’est pour stocker plusieurs 10aines de To en balançant/récupérant chaque jour à fond depuis plusieurs serveurs 1Gbps on peut penser que ça va leur mettre la puce à l’oreille.
Personne n’est dupe et à moins de faire ça via un compte professionnel qui va aller croire qu’un particulier a 20, 50, 80To de données personnelles ? Faut pas non plus les prendre pour ce qu’ils ne sont pas.
Certains disent s’en servir de seedbox, ce qui me semble assez risqué
Comme pour l’exemple du dessus, une SB génère par défaut beaucoup d’I/O de données, et c’est à mon sens tout sauf discret. Je dirais donc que c’est à utiliser avec parcimonie, du genre stockage de très long terme pour WCD mais pas pour du DL/UP « classique ».
Veillez à ne pas indexer tous vos contenus d’un coup via Emby, Plex, Kodi
Ou tout autre logiciel qui pourrait aller chercher des infos sur votre ACD. C’est le même principe qu’au-dessus : indexer un contenu = faire des appels à l’API Amazon = ça se voit = risque de se faire couper son accès si trop fréquent/important. J’ai récemment lu le cas d’un utilisateur qui s’est fait bloquer son compte suite à l’indexation de 2To de contenu. Alors que d’autres disent avoir balancé 5To d’un coup et indexé ensuite, sans souci. Là encore… c’est aléatoire mais ça peut arriver.
Perso je suis monté à 3To lors de ma précédente installation, sans problème.
Défauts de synchronisation
Il y a des pertes intempestives de connexion avec ACD lors de l’upload de gros fichiers (10Go+ et il semble même qu’ACD ne supporte pas les fichiers de plus de 50-60Go). En cas d’erreur il faut synchroniser à la main. En utilisant le combo ACD_cli/encFS l’idéal est de mettre en place un script qui contrôle et au besoin démonte/remonte/réupload le dit contenu. La bonne nouvelle est que rClone comprend des options permettant d’éviter ce souci, dans la plupart des cas.
Veillez à vous servir d’une machine qui ne souffre pas de limite de trafic et soit suffisamment puissante
En effet, par exemple, un fichier de 1Go va générer 3Go de trafic :
– Lorsqu’il est envoyé/téléchargé sur la machine,
– Lorsqu’il est envoyé sur Amazon, une fois chiffré,
– Lorsqu’il est lu, donc téléchargé depuis Amazon.
De même, le chiffrement et la lecture vont pomper pas mal de ressources CPU/RAM. Sans compter que très souvent la lecture va induire un transcodage à la volée. Le tout consommant beaucoup de ressources CPU. Au besoin on peut toujours utiliser 2 machines distinctes : 1 pour chiffrer/uploader et l’autre pour indexer/lire/transcoder le contenu.
Fonctionnement
Comme nous le verrons par la suite il va falloir procéder en 2 temps :
– Créer une liaison avec le Cloud Amazon, permettant de déposer/prendre des fichiers,
– Mettre en place le chiffrement/déchiffrement de cette liaison. Le tout via rClone.
Pour ceux qui connaissent c’est comme un conteneur chiffré True/VeraCrypt qu’on stockerait sur Amazon.
Pour monter un dossier rClone utilise FUSE.
Notez que dans le cas de VPS il faut auparavant activer le module Fuse. Rapprochez-vous de votre hébergeur/doc pour savoir quelle est la manip (qui diffère selon le système et l’hébergeur…).
Si vous êtes comme moi sur ProxMox, en LXC, il y a plusieurs méthodes pour activer Fuse sur un conteneur.
SOIT Pour l’activer sur votre CT, éditez son fichier de configuration sur l’hôte (CT stoppé) et ajoutez ce qui suit à la fin :
nano /etc/pve/lxc/XXX.conf
lxc.autodev: 1 lxc.hook.autodev: sh -c "mknod -m 0666 ${LXC_ROOTFS_MOUNT}/dev/fuse c 10 229"
Relancez votre VPS et vérifiez
[email protected]:~# ps aux | grep fuse root 1675 0.0 0.0 11128 980 pts/2 S+ 10:48 0:00 grep fuse
SOIT Activez-le sur votre hôte (serveur Proxmox), en root :
modprobe fuse
Puis sur votre conteneur :
mknod -m 666 /dev/fuse c 10 229
Et installez FUSE (s’il n’est pas déjà présent)
apt-get install fuse
Pour démonter un dossier
[email protected]:~# fusermount -u /Dossier/de/montage => [email protected]:~# fusermount -u /mnt/ACD/
Installation de rClone (Debian/*buntu etc)
Vous aurez besoin de wget et unzip. Dans cet exemple je prends la version 64bits (AMD64), adaptez à votre configuration.
wget http://downloads.rclone.org/rclone-current-linux-amd64.zip unzip rclone-current-linux-amd64.zip cd rclone-*-linux-amd64 sudo cp rclone /usr/sbin/ sudo chown root:root /usr/sbin/rclone sudo chmod 755 /usr/sbin/rclone
Pour cet article j’utilise la version 1.34 compilée depuis les sources.
[email protected]:~# rclone -V 2016/11/15 11:05:12 Failed to load config file "/root/.rclone.conf" - using defaults: open /root/.rclone.conf: no such file or directory rclone v1.34
rclone config
Ajouter un « remote » (n
)
No remotes found - make a new one n) New remote s) Set configuration password q) Quit config
Que je nomme, débordant de créativité (…) : ACD_Emby
name> ACD_Emby
Sélectionner le Cloud ACD (1
)
Choose a number from below, or type in your own value 1 / Amazon Drive \ "amazon cloud drive" Storage> 1
Puis ne rien mettre et passer (touche Enter)
Amazon Application Client Id - leave blank normally. client_id> Amazon Application Client Secret - leave blank normally. client_secret>
Et enfin refuser la configuration automatique (n
)
Use auto config? * Say Y if not sure * Say N if you are working on a remote or headless machine y) Yes n) No
Et comme c’est écrit : il faut maintenant utiliser une machine disposant d’un navigateur.
For this to work, you will need rclone available on a machine that has a web browser available. Execute the following on your machine: rclone authorize "amazon cloud drive"
Mon serveur n’ayant pas de Desktop je repasse sur mon PC personnel. Il suffit d’installer rClone sur n’importe quel PC (Windows, OSX, Linux) et de lancer la commande donnée pour qu’un navigateur se lance sur http://127.0.0.1:53682/auth, qui est une interface de connexion Amazon Cloud Drive/rClone.
J’ai franchement aucune idée de ce à quoi ça peut ressembler sous Windows mais sous Linux/OSX ça donne ceci :
┬─[[email protected]:~]─[14:55:22] ╰─>$ rclone authorize "amazon cloud drive" 2016/11/15 14:44:23 Failed to load config file "/home/ayx/.rclone.conf" - using defaults: open /home/ayx/.rclone.conf: no such file or directory If your browser doesn't open automatically go to the following link: http://127.0.0.1:53682/auth Log in and authorize rclone for access Waiting for code...
Got code Paste the following into your remote machine ---> {"access_token":".......","token_type":"bearer","refresh_token":".......","expiry":"2016-11-15T15:57:00.314157161+01:00"} ┬─[[email protected]:~]─[14:57:16]
On remarque au passage que ce token est utilisable 1h, ce qui laisse amplement le temps de tout copier/coller sur notre serveur, logiquement resté sur Then paste the result below: result>
Then paste the result below: result> {"access_token":".....","token_type":"bearer","refresh_token":".....","expiry":"2016-11-15T15:57:00.314157161+01:00"} -------------------- [ACD_Emby] client_id = client_secret = token = {"access_token":".....","token_type":"bearer","refresh_token":".....","expiry":"2016-11-15T15:57:00.314157161+01:00"} --------------------
Puis on valide (y
) et nous avons maintenant notre Cloud ACD configuré avec rClone.
y) Yes this is OK e) Edit this remote d) Delete this remote y/e/d> y Current remotes: Name Type ==== ==== ACD_Emby amazon cloud drive e) Edit existing remote n) New remote d) Delete remote s) Set configuration password q) Quit config
Afin de vérifier que tout fonctionne bien nous allons copier un fichier via le « remote », vérifier sa présence sur l’Amazon Cloud Drive, puis monter ensuite ACD via rClone sur le serveur.
Ici pas de cp/mv/rm, tout doit logiquement passer par rClone et ses commandes. Nous devons copier le fichier dans/avec le « remote » créé via rClone, donc ACD_Emby: Et j’insiste sur les : à mettre à la fin du nom de votre remote.
[email protected]:~# rclone copy vid.mp4 ACD_Emby: 2016/11/15 19:29:16 amazon drive root '': Waiting for checks to finish 2016/11/15 19:29:16 amazon drive root '': Waiting for transfers to finish 2016/11/15 19:30:12 Transferred: 175.870 MBytes (3.074 MBytes/s) Errors: 0 Checks: 0 Transferred: 1 Elapsed time: 57.2s
Vérifions maintenant que la vidéo apparaît bien dans le Cloud
Pour terminer montons ACD sur le serveur. Pour le détail des paramètres je vous invite à lire la doc de rClone mount.
Il faut au préalable créer le dossier de montage local ; dans mon cas
mkdir /mnt/ACD
[email protected]:/mnt# rclone mount ACD_Emby: /mnt/ACD/ --allow-other --no-modtime & [1] 15387 [email protected]:/mnt#
Puis on peut vérifier que notre vidéo s’y trouve bien
[email protected]:/mnt/ACD# ls vid.mp4 [email protected]:/mnt/ACD#
Maintenant qu’on sait que tout est ok on peut démonter notre ACD
[email protected]:~# cd ~ [email protected]:~# fusermount -u /mnt/ACD [email protected]:~#
Le dossier de montage est maintenant vide
[email protected]:~# cd /mnt/ACD/ [email protected]:/mnt/ACD# ls [email protected]:/mnt/ACD#
Il ne vous aura pas échappé que vid.mp4 n’était pas chiffrée sur le Cloud :)
Il y a 2 notions de base :
– Les noms doivent être chiffrés. Si « on » peut trouver un fichier via son hash, c’est aussi le cas tout simplement via son nom,
– S’il faut chiffrer il faut aussi déchiffrer afin qu’Emby puisse l’indexer et en lire le contenu.
Avant j’utilisais donc encFS, pour lequel voici un bon tutoriel (anglais), utilisé avec ACD_cli. Pour plusieurs raisons dont les « bogues » de tailles d’uploads sur Amazon et la place prise par le processus (il faut avoir les sources, les chiffrer via encFS puis ensuite les envoyer sur ACD), j’ai préféré rClone à ce duo. Ce dernier restant néanmoins très efficace dans le cadre d’un Cloud personnel (où on rencontre rarement des fichiers de plus de 10Go).
rClone vient de nous servir à créer le « remote » ACD_Emby. Comme on l’a bien vu, cette liaison ne sert qu’à envoyer/récupérer des fichiers sur/depuis ACD sur notre machine, il n’y’a là aucune notion de chiffrement. Nous devons par conséquent ajouter une étape intermédiaire permettant de chiffrer tout ce qui va sur/vient de notre ACD_Emby. Et c’est là que rClone montre toute sa puissance puisqu’il permet de créer un « remote » pour en chiffrer un autre. Nous allons donc créer le « remote » ACD_Enc qui va chiffrer ACD_Emby.
On repart avec rClone config, qui me liste les remotes existants et ajoutons ACD_Enc
[email protected]:~# rclone config Current remotes: Name Type ==== ==== ACD_Emby amazon cloud drive e) Edit existing remote n) New remote d) Delete remote s) Set configuration password q) Quit config e/n/d/s/q> n name> ACD_Enc
Cette fois-ci il faut sélectionner Encrypt/Decrypt (5
)
Storage> 5
Pour se laisser l’opportunité d’ajouter plus tard d’autres dossier chiffrés différemment, voire pas du tout, il est préférable d’indiquer un dossier précis à chiffrer. Pour ça il suffit de mentionner son nom à la suite du remote => ACD_Emby:Enc
(là encore vous découvrez mon immense originalité dans la recherche d’un nom de dossier !)
Remote to encrypt/decrypt. Normally should contain a ':' and a path, eg "myremote:path/to/dir", "myremote:bucket" or maybe "myremote:" (not recommended). remote> ACD_Emby:Enc
Puis activer le chiffrement des noms de fichiers
How to encrypt the filenames. Choose a number from below, or type in your own value 1 / Don't encrypt the file names. Adds a ".bin" extension only. \ "off" 2 / Encrypt the filenames see the docs for the details. \ "standard" filename_encryption> 2
rClone propose ensuite d’entrer ou de générer un mot de passe, je tente l’auto en 128bits. Notez de suite votre mot de passe dans un lieu sûr.
Password or pass phrase for encryption. y) Yes type in my own password g) Generate random password y/g> g Password strength in bits. 64 is just about memorable 128 is secure 1024 is the maximum Bits> 128 Your password is: KF6-hfXAur0B7VjeLcB3Mw Use this password? y) Yes n) No y/n> y
Même chose pour le salage
Password or pass phrase for salt. Optional but recommended. Should be different to the previous password. y) Yes type in my own password g) Generate random password n) No leave this optional password blank y/g/n> g Password strength in bits. 64 is just about memorable 128 is secure 1024 is the maximum Bits> 128 Your password is: FopwRFVbQIDdjY6GFPor0H Use this password? y) Yes n) No y/n> y
Notez au passage qu’utiliser les mêmes mots de passe pour un autre remote (pour le même espace de stockage) permettra d’accéder aux données de ce remote. Le chiffrement est bien entièrement dépendant des 2 pwds, uniquement.
Confirmer le tout et sauvegarder
Remote config -------------------- [ACD_Enc] remote = ACD_Emby:Enc filename_encryption = standard password = *** ENCRYPTED *** password2 = *** ENCRYPTED *** -------------------- y) Yes this is OK e) Edit this remote d) Delete this remote y/e/d> y Current remotes: Name Type ==== ==== ACD_Emby amazon cloud drive ACD_Enc crypt e) Edit existing remote n) New remote d) Delete remote s) Set configuration password q) Quit config e/n/d/s/q> q
J’ai mes 2 remotes ! \o/ Testons !
[email protected]:~# rclone copy vid.mp4 ACD_Enc: 2016/11/16 08:49:32 Encrypted amazon drive root 'Enc': Waiting for checks to finish 2016/11/16 08:49:32 Encrypted amazon drive root 'Enc': Waiting for transfers to finish 2016/11/16 08:50:01 Transferred: 175.870 MBytes (5.814 MBytes/s) Errors: 0 Checks: 0 Transferred: 1 Elapsed time: 30.2s [email protected]:~#
Montage du remote chiffré ACD_Enc sur le serveur. Que je monte dans le dossier (à créer) /mnt/Enc_ACD. Ouais je sais, je suis toujours très inventif sur les noms…
[email protected]:/mnt# rclone mount ACD_Enc: /mnt/Enc_ACD/ -v --allow-other --no-modtime & [1] 17836 [email protected]:/mnt# 2016/11/16 09:12:10 rclone: Version "v1.34" starting with parameters ["rclone" "mount" "ACD_Enc:" "/mnt/Enc_ACD/" "-v" "--allow-other" "--no-modtime"] 2016/11/16 09:12:11 Encrypted amazon drive root 'Enc': Modify window not supported 2016/11/16 09:12:11 Encrypted amazon drive root 'Enc': Mounting on "/mnt/Enc_ACD/" 2016/11/16 09:12:11 Encrypted amazon drive root 'Enc': Root()
Vérification du déchiffrement « à la volée »
[email protected]:~# cd /mnt/Enc_ACD/ [email protected]:/mnt/Enc_ACD# ls vid.mp4 [email protected]:/mnt/Enc_ACD#
Montage du remote non chiffré ACD_Emby (toujours dans /mnt/ACD)
[email protected]:~# rclone mount ACD_Emby: /mnt/ACD/ -v --no-modtime --allow-other & [1] 17930 [email protected]:~# 2016/11/16 09:16:07 rclone: Version "v1.34" starting with parameters ["rclone" "mount" "ACD_Emby:" "/mnt/ACD/" "-v" "--no-modtime" "--allow-other"] 2016/11/16 09:16:08 amazon drive root '': Modify window not supported 2016/11/16 09:16:08 amazon drive root '': Mounting on "/mnt/ACD/" 2016/11/16 09:16:08 amazon drive root '': Root()
Vérification : j’ai toujours mon fichier vid.mp4 m’ayant servi lors d’un précédent test, j’ai aussi maintenant mon dossier /Enc dont le contenu est bien chiffré. Parfait !
[email protected]:~# cd /mnt/ACD/ [email protected]:/mnt/ACD# ls Enc vid.mp4 [email protected]:/mnt/ACD# cd Enc/ [email protected]:/mnt/ACD/Enc# ls ld0rggd8eihacfib55rmob69i0 [email protected]:/mnt/ACD/Enc#
Il n’y a pas besoin de démonter/remonter un remote (chiffré ou non) suite à la copie ou au déplacement d’un fichier dedans, on le voit de suite.
Nous avons maintenant tout ce qu’il faut pour envoyer du contenu chiffré sur Amazon Cloud Drive et le parcourir/lire déchiffré via le montage du remote chiffré sur une machine. Dans ce contexte précis, seul le montage du remote chiffré ACD_Enc est utile et le dossier /mnt/Enc_ACD/ servira de source pour Emby, Plex, Kodi etc.
Libre à vous de l’organiser comme vous voulez :
– 1 seul remote ACD_Enc: contenant /Enc/Séries, Enc/Films etc,
– ou autant de remote chiffrés que de « sources => Series_ACD_Enc: qui dépose dans ACD/Enc/Series, Films_ACD_Enc: qui dépose dans ACD/Enc/Films etc.
On peut toujours monter ACD_Emby: pour y stocker des données en clair, qui seront stockées à côté de /Enc, par exemple pour partager rapidement un fichier avec un ami.
Pour les fans d’automatisation comme moi, et je m’y attellerai selon mon temps libre, je pense que le plus simple geek est la configuration suivante.
Bien évidemment tout ça est encore en plein développement (rClone comme ACD) et ce n’est pas fiable à 100% dans le transfert des données. Du moins pour des fichiers supérieurs à 10Go.
Du coup l’équipe de rClone ajoute quelques options bien utiles (consultez les docs move/copy notamment) et bosse visiblement pas mal sur les différentes remontées des utilisateurs. Il semble que Plex/emby rencontrent toujours un souci en avance/retour rapide.
Voici les options de base que j’ai tendance à utiliser :
– Test de paramètres (opération à blanc), que je fais systématiquement avant de mettre en place un script rClone,
– Limitation de la bande passante, afin de ne pas pourrir les débits des autres VPS sur ma machine. J’utilise un autre VPS avec Emby, que je ne bride pas,
– Définition de l’emplacement du fichier de configuration, que je stocke (avec toutes mes config) dans /confz,
– Log des actions, vu que parfois ça plante c’est toujours utile,
– Retry, je mets 5, que rClone puisse réessayer 5 fois un transfert en cas de coupure,
– Limitation du transfert en parallèle à 2 fichiers, dans mon cas du fait de ma limitation intentionnelle de la bande passante allouée à ce VPS,
– Désactivation du timeout, pour que mon serveur ne se déconnecte pas d’ACD pour éviter les défauts de copie/déplacement.
Et les options spécifiques à Amazon Cloud Drive (pour fichiers de plus de 10Go etc).
Montage automatique des remotes (ou que du chiffré, à vous de voir/modifier)
Créer un fichier montageACD.sh
#!/bin/bash # Montage remote ACD chiffré rclone mount ACD_Enc: /mnt/Enc_ACD/ --allow-other --no-modtime & # Montage remote ACD global rclone mount ACD_Emby: /mnt/ACD/ --allow-other --no-modtime &
L’exécuter via sh montageACD.sh
ou le lancer au boot via CRON (crontab -e
en root et ajouter)
@reboot sh /chemin/vers/montageACD.sh
Démontage des remotes
Créer un fichier demontageACD.sh
#!/bin/bash # Démontage remote ACD chiffré fusermount -u /mnt/Enc_ACD/ # démontage remote ACD global fusermount -u /mnt/ACD/
L’exécuter via sh demontageACD.sh
Script Python qui avertit d’un problème et remonte les remotes
Exemple, via PushBullet, à lire ici
Scripts Bash de lancement auto de rClone
Dispo sur GitHub, peuvent servir de base pour créer un système qui check les nouvelles sources et lance une copie ou un déplacement via rClone
Il n’existe pas, pour l’instant, de version de rClone pour Synology « mais » on peut contourner ce problème en installant rClone sur un système (Debian) en parallèle au DSM de Synology. J’avais fait un article à ce sujet.
Grand merci à Lolvince qui teste de son côté :)
en faite rclone fonctionne parfaitement depuis SSH, l’erreur est liée au montage via fuse.
le problème est identique avec la dernière version stable dispo sur une Debian. donc le souci est ici purement lié au dev de rClone sur la fonction mount et non sur une compatibilité Syno, ce qui promet de belles surprises dans un avenir plus ou moins proche
pour info le mount fonctionne très bien en lecture seule, il est reconnu que pour le moment l’écriture pose problème pour tous les Clouds.j’ai réglé mon problème de droit sur mon NAS avec l’option » –allow-other » qui permet aux différents services d’accéder au dossier monté !je peux donc maintenant lire un film MKV de 9Go en live depuis un de mes PC, via un dossier partagé sur le réseau de mon NAS (N40L, xpenology)pour information le trafic généré sur ma connexion Internet est de 16Mo/sec en moyenne, et le process rClone (montage et decryptage) tourne au MAX de 25% sur 1 de mes 2 cores ce qui est très bien.donc pour le moment à part l’écriture via mount qui est en cours d’amélioration, le reste est exploitable !voici la ligne de commande qui permet de bons résultats :
./rclone mount --max-read-ahead 200M --checkers 300 --read-only --allow-other Amazon_Crypt: /volume1/video/Crypt/
Montage sur une autre machine (Linux, BSD, OSX)
J’ai aussi pour ambition de pouvoir accéder à mes contenus depuis Kodi, voire de mon laptop. De fait voici comment le faire sur un PC (Archlinux ici). Installez rClone et copiez votre fichier de configuration Serveur qui est, si vous n’avez rien touché, /home/USER/.rclone.conf ou /root/.rclone.conf
Recopiez-le sur votre « nouvelle » machine, soit au même endroit soit ailleurs vu qu’on peut préciser à rClone où il se trouve.
Il ne reste qu’à monter le « remote » chiffré (chez moi ACD_Enc) localement, avec son fichier de configuration.
┬─[[email protected]:/mnt]─[17:00:57] ╰─>$ sudo mkdir /mnt/Enc_ACD/ ┬─[[email protected]:/mnt]─[17:01:08] ╰─>$ sudo chmod -R 777 Enc_ACD/ ┬─[[email protected]:~]─[17:01:52] ╰─>$ rclone mount ACD_Enc: /mnt/Enc_ACD/ --config=/home/ayx/Documents/CloudStation/.rclone.conf --no-modtime & ┬─[[email protected]:/mnt]─[17:02:12] ╰─>$ cd Enc_ACD/ ┬─[[email protected]:/mnt/Enc_ACD]─[17:02:16] ╰─>$ ls vid.mp4 ┬─[[email protected]:/mnt/Enc_ACD]─[17:02:17] ╰─>$
J’ai donc monté uniquement le dossier /Enc de mon Amazon Cloud Drive et non l’ensemble du Cloud.
Salut Aerya, Merci pour cet article, c’est vraiment sympa comme découverte. Par contre que penses-tu des performances ? Je plafonne sur un rclone sync (entre un SYS-IP de chez soyoustart) à ~15 Mbytes/s Tu pourrais détailler un peu plus ton idée d’automatisation ? Je ne suis pas sur de bien comprendre ton schéma Tu parlais d’une limitation sur les fichiers… Lire la suite »
Merci :) Niveau perf j’ai rien à redire pour l’instant. J’ai 2 VPS qui copient des données en flux tendu depuis plusieurs jours et la vitesse moyenne est de 60Mbps (SoYouStart Canada). Par machine. Je vais d’ailleurs limiter ça histoire de ne pas sortir en alerte chez Amazon. En lecture je n’ai pas pu tester depuis que je suis ici,… Lire la suite »
Salut ! Vraiment merci pour ton tuto ! En effet , beaucoup moins de Bug que ACD_cli Par contre j’ai une question, j’ai un dossier de photos de vacances nommer 2016, quelle est la commande pour synchro tout le dossier 2016 et qu’il apparaissent le dossier sur ACD ? Car quand je fait rclone sync ou copy 2016, il me… Lire la suite »
Merci :)
Je te mets l’un de mes scripts, si tu ne veux pas l’utiliser tu as au moins la commande : http://62.210.13.208:8080/2016/12/04/rclone-amazon-cloud-drive-chiffre-script-copymove/ :)
Bonjour, est-ce possible d’avoir un tuto detaillé de l’installation de fuse et Rclone sur NAS SYNOLOGY ? je suis nouveau dans le domaine et n’arrive pas à appliquer les données presentées ici. Merci.
Salut Olivier,
Je fais un mail à Lolvince voir s’il a le temps pour décrire rapidement sa mise en place.
Salut Azeya, déja merci pour ton super tuto !! Au top comme d’habitude !!! J’qai suivie ton tuto et ton fonctionner a merveille, Mais depuis ce matin j’ai l’erreur suivante quand je suis un ls /mnt/enc j’ai : ls: cannot access enx: Transport endpoint is not connected Je tente donc un unmount & mount de nouveau, mais le probleme persiste… Lire la suite »
Hello,
Vu que ça utilise Fuse c’est pas « umount » pour démonter mais « fusermount -u /mnt/enc/ ». Et pour monter, même chose, c’est pas « mount » mais « rclone mount : /mnt/enc/ »
Hello,
Je te remercie de ta réponse, j’ai bien fais un fusermount -u puis j’ai tenter de refaire un rclone mount j’ai toujours la même erreur : Transport endpoint is not connected
Je mis connais pas trop bien en point de montage …
Je me demande si je vais pas pas refaire le montage depuis le début.
Quel OS as-tu ? (sudo uname -a)
Quelle version de fuse ? (sudo fusermount -V)
J’ai la 2.9.3 (pas la dernière donc) sur Debian Jessie.
Ça continue de planter même après un fusermount -uz /mnt/enc ? le Z étant là pour éviter de rebooter
Tu es le meilleure !!! avec le Z cela refonctionne ! Je te remercie encore !!!!!
Ah, par contre au bout d’un moment cela me deconnecte puis cela recommence : Transport endpoint is not connected donc je doit refaire la manipulation …
Je ne pige pas ..
Quels OS/versions de fuse ?
Quelles sont tes options de montage ?
Debian 8 CT proxmox 4
4.4.19-1-pve #1 SMP Wed Sep 14 14:33:50 CEST 2016 x86_64 GNU/Linux
fusermount version: 2.9.3 ( même version que toi )
Option de montage comme dans ton Tuto, plex_enc vers /mnt/plex_crypt
Et plex_amazon vers /mnt/amazon
je te remercie de ton aide.
Tu as bien autorisé fuse sur ce CT ? (via ton hôte ProxMox)
Bonjour,
J’arrive sans problèmes à l’étape d’obtention du Token, mais lorsque je copie celui-ci dans mon terminal, il est « trop long », c’est à dire que j’arrive à une limite de caractères copiables sous le » Then paste the result below: result> ». Du coup je n’arrive pas à l’étape suivante
Salut,
Normalement crtl+c et ctrl+v (ou ctrl+shit+v) fonctionnent. Ou encore copier/coller via la souris. Tu copies bien tout le bloc d’un coup pour ensuite le coller ?
Salut Aerya , je viens de suivre ton tuto, vraiment top au passage et j’ai hâte de suivre tes autres billets. Tout fonctionne a merveille sur mon serveur. Et j’ai vraiment suivi à la lettre ton tuto, en utilisant même ta débordante créativité pour les noms de dossiers :D. Donc tout est OK, mais je veux maintenant installer rclone sur… Lire la suite »
Salut, merci :)
Ça sent l’erreur SSL : https://github.com/ncw/rclone/issues/196
Oui j’étais tombé sur cette page (SiC !!) …. j’ai essayé de faire la manip indiquée, mais pas possible, avec la distrib OpenElec de créer un rep /etc/ssl/certs .. et de plus la commande ntpclient n’existe pas, lol. Et concernant l’erreur mentionnant le failed to make remote « ACD_Emby:Enc to wrap… » ? ca te parle ? Et merci pour ta réponse… Lire la suite »
Ça ne fonctionne pas avec le flag –no-check-certificate ? Bizarre que tu ne puisses pas installer ntpclient vu que le gars semblait aussi utiliser OpenElec.
Quant à la ligne dont tu parles je pense qu’elle fait simplement partie du message d’erreur global.
Bien joué !!! :D, en effet avec ce paramètre, ca passe sans soucis. Le Lecteur est bien monté et donc dechiffré en live, et du coup, c’est ma machine Kodi qui dechiffre.
Merci beaucoup Aerya.
M’en vais continuer à m’inspirer de tes tutos…..
Bonne nouvelle :)
Salut Aerya , Le serveur tourne maintenant depuis quelques mois non stop, sans soucis. Sauf que j’ai du le redémarrer. Et n’ayant pas mis en place le script de remontage auto, je l’ai donc fait à la main avec la commande : « rclone mount ACD_Enc: /mnt/Enc_ACD/ -v –allow-other –no-modtime & » et là …. j’ai donc un numéro qui apparaît, ce… Lire la suite »
Salut Largo,
Ajoute – – allow-non-empty
J’ai lancer il y a maintenant 15 mn, le mount avec l’option en –allow-non-empty , et c’est toujours pareil, j’ai ce retour si jamais je fais quelque chose : « [6]+ Stoppé sudo rclone mount ACD_Enc: /mnt/Enc_ACD/ -v –allow-other –allow-non-empty –no-modtime (wd : /) » Si tu vois autre chose ? ou je suis peut être un peu trop impatient et doit… Lire la suite »
Bizarre que ça t’arrive maintenant alors que ça fonctionnait. Quel OS ? As-tu testé le mount sans sudo ? Ou en root directement ?
Je viens de tester en root, et là ça passe nickel, pas trop compris.. Mais merci beaucoup.
Je pense que c’est parce que ton fichier de configuration rclone.conf est dans /root.
Heureux que ça fonctionne :)
Bonjour, Alors voilà je suis en train de me lancer dans Amazon Drive pour plex, sur un serveur dedié Debian 7. J’ai bien suivi le tuto, ça fonctionne correctement, je monte mon Amazon Drive chiffré dans le dossier /mnt/ACD_Encrypt via la commande : rclone mount ACD_Encrypt: /mnt/ACD_Encrypt/ -v –allow-other –no-modtime & Mais le problème c’est que mon Amazon Drive se… Lire la suite »
Salut,
ACD n’est pas très stable (surtout niveau débit), il peut en effet arriver que suite à une trop longue déconnexion le montage saute. Mais c’est très rare donc je doute que ce soit l’explication la plus adaptée à ton cas…
TU peux toujours utiliser ce script rclonemount.cron qui s’occupera de le remonter automatiquement : https://github.com/ajkis/scripts/tree/master/rclone
Salut et merci pour ce tuto utile et bien expliqué. Malgré ça il y subsiste un doute de mon côté : Les étapes de vérification ont été réalisées avec succès, seulement lors des étapes rclone mount le shell bloque sur 11:01:38 INFO : Encrypted amazon drive root 'Enc': Modify window not supported. Les lignes suivantes que tu affiches toi n’apparaissent… Lire la suite »
Erreur de ma part concernant la copie, je ne copiais pas dans le bon dossier ;)
Salut,
Pour en savoir plus sur ton erreur il faut utiliser le -v pour les logs. As-tu bien la dernière version de rClone ? 1.36
Bonjour, J’imagine que vous avez remarqué le dysfonctionnement de rclone avec Amazon qui aurait banni l’API du log : https://forum.rclone.org/t/rclone-has-been-banned-from-amazon-drive/2314 Du coup, ma question : allez vous faire un petit billet pour expliquer les alternatives (et comment transférer ses données cryptées sur un autre (X)drive par exemple). J’ai mes 5To de data qui sont non accessibles pour le moment… ça… Lire la suite »
Salut, J’utilise toujours rClone, une version modifiée qui lui permet de passer outre le ban d’Amazon. Il semble que le développeur ait eu un retour d’Amazon au sujet du code de son outil et qu’il va donc le modifier pour se plier à leurs règles (de sécurité, cf problème acd_cli). Je ne doute pas qu’un nouvelle mouture de rClone, compatible… Lire la suite »
Est-ce que tu sais comment déchiffrer les données chiffrés avec Rclone?
Car je pense que l’on peut toujours télécharger des fichiers à travers l’interface web d’amazon.
Quelle version modifié de rclone utilises-tu?
Ma version de rClone est personnelle et je ne peux pas la partager, de peur qu’elle soit bannie. Navré.
D’après leurs forums certains disaient pouvoir déchiffrer localement un contenu rapatrié d’Amazon. Mais je n’ai pas poussé plus loin ma lecture.
salut, j’ai suivi ton tuto tout d’abord merci mais quand je monte mon gdrive dans rclone avec rclone mount j’ai àa en message erreur 020/04/26 17:05:42 NOTICE: Encrypted drive ‘drive-crypt:Medias’: ChangeNotify was unable to decrypt « Medias/fcaqb4aauh31vjd690kc3fr9is »: illegal base32 data at input byte 6 2020/04/26 17:06:42 NOTICE: Encrypted drive ‘drive-crypt:Medias’: ChangeNotify was unable to decrypt « Medias »: illegal base32 data at input… Lire la suite »
du coup problème résolu
C’était quoi le souci ?