Cloud personnel pour la synchro de données

[pehache]

J'avais déjà plus ou moins évoqué le sujet, mais j'y reviens.

 

Dropbox c'est super, c'est même à mon sens un des meilleurs logiciels/services de ces dernières années. Il est à la fois efficace, fiable, discret... En un mot il fait parfaitement ce qu'il est censé faire.

 

Mais, car il y a toujours un mais, il a un inconvénient de taille : mettre ses données sur Dropbox c'est à peu près comme les mettre sur les serveurs de la NSA. Même si les données sont chiffrées sur les serveurs de Dropbox, c'est Dropbox qui a la clef de (dé)chiffrement.

 

Je suis donc toujours à la recherche d'une solution qui n'ait pas cet inconvénient. Je vous livre ma réflexion à ce stade, en espérant votre feedback sur ce que vous connaissez de votre côté et éventuellement votre expérience :

 

Wuala

 

Un quasi-clone de Dropbox : les données sont stockées sur les serveurs de Wuala, mais la clé de chiffrement ne quitte pas les postes clients : Wuala (ou n'importe qui d'autre) ne peut donc pas lire les données.

 

Inconvénients :

- le logiciel client est écrit en Java et est très lourd (j'avais relevé plus de 200Mo d'occupation RAM, contre 40Mo pour celui de Dropbox).

- impossibilité d'accéder aux données par le web (ce qui est la conséquence du fait que Wuala n'a pas la clé pour déchiffrer).

 

Owncloud

 

Un projet open-source bien sympathique... et qui fonctionne. Ca marche là aussi comme Dropbox, sauf que le serveur est sur une machine personnelle. Les clients sont légers.

 

Inconvénients :

- il faut une machine allumée si possible 24h/24 (mais ça peut être un simple Raspberry Pi!)

- l'installation/configuration du serveur n'est pas à la portée du premier venu, surtout si on veut le sécuriser en vue d'un accès depuis l'extérieur de chez soi.

- on se tape la maintenance du tout (mises à jour, résolution des problèmes...)

- conflits de synchro gérés (priorité à la dernière version, copie des versions en conflits conservées mais non synchronisées) 

 

Owncloud packagé par TurnkeyLinux

 

C'est une distribution Linux minimaliste avec owncloud server préinstallé et préconfiguré, destinée à être installer dans une machine virtuelle (VMWare, VirtualBox, etc...). Cela simplifie donc grandement la maintenance du truc...

 

Inconvénients :

- il faut une machine allumée si possible 24h/24 (et là ça ne peut pas être un simple Raspberry Pi...) pour faire tourner la machine virtuelle

 

 

Owncloud packagé sur les NAS Synology

 

C'est un package owncloud server pour les NAS Synology. Là aussi cela simplifie donc grandement la maintenance du truc...

 

Inconvénients :

- il faut un NAS Synology

- qu'en est-il de la sécurité (possibilité d'un accès forcé en HTTPS, ou pas ?)

 

 

Synology CloudStation

 

La solution "propriétaire" de Synology. Le NAS fait serveur de synchronisation. Jamais essayé, donc si quelqu'un a des retours d'utilisation...

 

Inconvénients :

- il faut un NAS Synology

- conflits de synchronisation non gérés (d'après test de Lolyangccool: seule la version la plus récemment modifiée est conservée, donc risque de perte de données)

 

 

Tonido

 

Comme pour OwnCloud, il y a un logiciel serveur à installer sur une machine perso, et des clients de synchro. Le serveurs de Tonido servent juste à initier les connections entre les différentes machines synchronisées. Là non plus jamais essayé, donc si quelqu'un a des retours d'utilisation...

 

 

Inconvénients :

- La version gratuite est limitée à 2Go de synchro. Sinon il faut payer 50$/an : dans un sens ce n'est pas très cher, mais si on considère que les serveurs de Tonido ne font à peu près rien, ça se discute...

 

Polkast

 

Là on entre dans la catégorie des services décentralisés : il n'y a plus de serveur qui stocke les données, et la synchronisation se fait directement de poste à poste, en p2p. Les serveurs de polkast sont quand même utilisés pour établir les connections de poste à poste. Jamais essayé, donc si quelqu'un a des retours d'utilisation...

 

Inconvénients :

- La version gratuite est limitée à un ordi (+ autant d'appareils mobiles que l'on veut). Sinon il faut payer 60$/an : dans un sens ce n'est pas très cher, mais si on considère que les serveurs de Polkast ne font à peu près rien, ça se discute...

 

AeroFS

 

Très sembable à nouveau à Polkast. Je l'avais essayé et ça avait l'air de marcher pas mal. En plus, la version gratuite n'a pas de limitation gênante pour un particulier.

 

Inconvénients :

- le développement n'a pas l'air très actif (le client iOS attend depuis longtemps, par exemple)

- client un peu lourd (>100Mo, écrit en Java)

- conflits de synchro mal gérés (les fichiers en conflit ne sont plus synchronisés tant que l'utilisateur n'a pas résolu manuellement les conflits grâce à une boîte de dialogue dédiée; le problème est que l'utilisateur n'est pas forcément averti tout de suite)

 

Bittorrent Sync

 

L'adaptation du protocole Bit Torrent pour faire de la synchro ! Très semblable à nouveau aux 3 précédents, mais avec quelques particularités allant dans le sens d'une sécurité accrue. Pas de version payante.

 

Inconvénients :

- version beta (quoi qu'apparemment totalement fonctionnelle, avec des clients pour de nombreuses plateformes) ?

- conflits de synchro non gérés : seule la version la plus récente est conservée et synchronisée (donc risque de pertes de données)

[Invité LolYangccool]

Concernant CloudStation, je l'utilise au quotidien depuis quelques temps et mon père l'utilise également.

 

C'est vraiment bien.

Le seul point négatif, à mon sens, est que pour partager un fichier et le mettre en accès public, via un lien, donc, il faut passer par l'interface web du NAS.

Le client CloudStation ne le permet pour le moment pas.

 

Personnellement, j'utilise Dropbox et Cloud Station.

[pipoca]

Merci pehache pour ces avis !   

[Mout]

 

Tonido

 

Très sembable à Polkast. Là non plus jamais essayé, donc si quelqu'un a des retours d'utilisation...

 

Inconvénients :

- La version gratuite est limitée à 2Go de synchro. Sinon il faut payer 50$/an : dans un sens ce n'est pas très cher, mais si on considère que les serveurs de Tonido ne font à peu près rien, ça se discute...

Je l'ai remis il y a peu, je peux t'en apporter un premier retour. C'est du vrac, comme ça me vient.

Il s'agit donc d'une appli qui se met sur l'ordinateur de la maison. Il faut donc une machine disponible et allumée H24. Mais, à la différence de OwnCloud, il fonctionne sur mac. Je n'ai pas trouvé de version d'OwnCloud Server fonctionnant sur OS X, OwnCloud précise bien qu'un composant ne fonctionne pas très bien sur OS X. Faut que j'approfondisse la question, du reste.

 

Donc, Tonido.

L'application serveur est une bête appli, rien de compliqué à installer. Quelques "suivants suivants terminer" pour lui donner deux trois info de connexion et de dossier à synchro.

Le client iOS est suffisant : il donne accès globalement aux memes choses que l'accès web.

Un client OS X (peut être (surement) pour d'autres OS, mais je suis 100% Apple à la maison, pour la "prod") sert pour synchroniser un dossier, à la DropBox. (il me semble, nouveauté depuis la première fois que je me suis intéressé à Tonido.)

Un accès web est possible, et est même plutôt complet. Par contre, c'est à usage personnel. Je n'ai pas trouvé le moyen de créer des utilisateurs, ou de partager publiquement quelque chose. Je n'ai pas trouvé, ca ne veut pas dire que ca n'existe pas, note bien

Tu as accès à l'intégralité de ton disque dur et meme d'éventuels shares montés (j'accède au NAS), tu peux lui dire d'indexer des dossiers de contenus multimédias (vidéos, films, musique) donc propose une bibliothèque avec certains tris, et il embarque un player avec compression pour l'envoi s'il le faut. Avec un upload à la Free, ca roule pour la musique, j'ai écouté toute la journée de la musique de chez moi, sans y être. Le player dans iOS n'intègre pas Airplay, ca se fait au niveau système. Idem pour OS X et l'accès web, du reste.

 

Avantage pour la config : rien n'est nécessaire de faire sur le routeur NAT, Tonido a des serveurs qui m'ouvrent les portes de mon chez moi. En réseau local, il utilise l'adresse locale du serveur (peu utile, mais les éventuels loopbacks non gérés de Livebox par exemple sont contournés). Pour les 2Go de synchro max-sinon-faut-payer, je m'en fous un peu. S'il le faut, j'ai un accès VPN qui me donne full access à mon serveur, dont le partage d'écran. Mais c'est moi. Tout le monde n'est pas de mon avis.

 

La première fois que je m'en étais servi, ca ne fonctionnait pas à 100%, c'était un peu dommage, mais pendant que je m'en servais encore, une grosse mise à jour a remis pas mal de choses au point. Je l'ai ensuite délaissé un moment, je ne saurai trop dire pourquoi. Et puis là, tout récemment, je l'ai remis. Et pour ce que ça offre, ca me semble pas mal du tout.

Je vais donc voir à étudier la possibilité d'en faire mon cloud personnel, en stockant mes données la dessus plutôt que les GDrive et autres DropBox, et garder ceux-là pour du simple partage (screenshots, par exemple)

 

Voila. Si t'as d'autres questions à ce sujet, n'hésite pas, j'essaierai de t'apporter une réponse plus circonstanciée que celle-là. Sur un point précis, il est plus facile d'approcher l'exhaustivité

[pehache]

OK

 

Pour Tonido je n'avais pas compris qu'il y avait un serveur. Je corrigerai mon post.

 

En fait dans les retours d'expérience il y aurait 2 choses intéressantes à rapporter :

 

comment sont gérés les conflits de synchronisation ?

 

l'occupation RAM des clients de synchro ?

 

lolyang et Mout si vous pouvez préciser ces points pour CloudStation et Tonido...

[Invité LolYangccool]

Qu'entends-tu par conflit de synchonisation ?

 

Pour la ram, je te dis ça dès que je suis rentré.

[pehache]

Un conflit de synchronisation c'est quand un même fichier a été modifié sur 2 machines différentes sans avoir été synchronisé entre temps. Soit parce qu'il a été ouvert en même temps sur les 2 machines, soit parce que la synchro n'était pas active (pas de réseau par exemple).

 

Dropbox gère ça de manière très sûre : il crée une copie du fichier prévient l'utilisateur qu'il y a 2 versions conflictuelles. A lui de merger les modifs ensuite. Mais d'autres outils de synchro sont moins bavards et gardent la dernière version du fichier sans prévenir clairement qu'il y a eu un conflit de synchro.

 

Pour tester et générer un conflit de synchro il suffit de couper la synchro, de modifier un même fichiers sur 2 machines, et de relancer la synchro. Il faudra que je le (re) fasse pour les outils que j'ai testés, d'ailleurs (je ne me suiviens plus exactement ce qu'ils font).

[Invité LolYangccool]

Ok c'est bien ce que je pensais.

Je teste ça en rentrant mais à priori c'est bien géré puisque je n'ai jamais eu de soucis...

[Mout]

Je tacherai d'essayer, je regarde ca cet apres midi, pour la gestion de conflit en synchro.

A l'heure ou je te parle, et selon le moniteur d'activité :

boxSync : 24 Mo dans la RAM

DropBox : 22 Mo

GDrive : 10,2 Mo

Et le p'tit Tonido, 11,5 Mo

[Invité LolYangccool]

Il semblerait que CloudStation soit notre grand vainqueur en occupation RAM :

 

Pour le test de la synchronisation, j'ai créé un document de test dans CloudStation sur le MBP avec WiFi actif et le MacBook l'a récupéré.

Ensuite, j'ai désactivé le WiFi sur les deux machines (avec aucun cable réseau de branché non plus...) et j'ai modifié le fichier sur le MacBook Pro et sur le MacBook successivement.

J'ai ajouté le même nombre de caractères afin de ne pas mettre par exemple une grosse image dans un document pour éviter qu'il soit plus lourd d'un côté que de l'autre.

 

Le texte ajouté est Test #1 sur le MBP et Test #2 sur le MB.

J'ai ensuite réactivé le WiFi sur les deux machines en même temps et c'est le Test #1 qui est apparu dans le document ensuite, après synchronisation.

C'est donc sur le MBP que la modification a été synchronisé avec mon NAS.

 

Mais je pense connaître la cause :

 

Le NAS étant en Gigabit, pas de soucis de débit puisque mes deux machines étant en N, le WiFi maxi théorique du N ne dépasse pas 450Mb/s.

Hors 450Mb/s x 2 ça fait bien 900Mb/s.

 

Ok de ce côté là.

 

Par contre mon MB est en 300Mb/s et le Pro en 450Mb/s, le MBP est donc plus rapide.

Ce qui peut expliquer que c'est lui qui a eu la priorité.

 

En fait, j'aurai du essayer avec mon iMac qui a du WiFi N en 450Mb/s également, je n'y est pas pensé puisqu'il est connecté en Ethernet et il était éteint pendant le test.

 

Les deux MacBook sont connectés à vitesse maximale puisque pas très loin de mon AirPort Extreme.

 

Voilà.

[pehache]

Pour le test de la synchronisation, j'ai créé un document de test dans CloudStation sur le MBP avec WiFi actif et le MacBook l'a récupéré.

Ensuite, j'ai désactivé le WiFi sur les deux machines (avec aucun cable réseau de branché non plus...) et j'ai modifié le fichier sur le MacBook Pro et sur le MacBook successivement.

J'ai ajouté le même nombre de caractères afin de ne pas mettre par exemple une grosse image dans un document pour éviter qu'il soit plus lourd d'un côté que de l'autre.

 

Le texte ajouté est Test #1 sur le MBP et Test #2 sur le MB.

J'ai ensuite réactivé le WiFi sur les deux machines en même temps et c'est le Test #1 qui est apparu dans le document ensuite, après synchronisation.

C'est donc sur le MBP que la modification a été synchronisé avec mon NAS.

 

Mais je pense connaître la cause :

 

Le NAS étant en Gigabit, pas de soucis de débit puisque mes deux machines étant en N, le WiFi maxi théorique du N ne dépasse pas 450Mb/s.

Hors 450Mb/s x 2 ça fait bien 900Mb/s.

 

Ok de ce côté là.

 

Par contre mon MB est en 300Mb/s et le Pro en 450Mb/s, le MBP est donc plus rapide.

Ce qui peut expliquer que c'est lui qui a eu la priorité.

 

Oui, mais aucun ne devrait avoir la priorité, justement. En fait cette façon de faire est la plus mauvaise possible puisque le logiciel de synchro non seulement fait un choix à la place de l'utilisateur, mais il le fait silencieusement. L'utilisateur risque donc de perdre des données sans s'en rendre compte.

 

Sinon, tous les clients de synchros testés sont légers en mémoire, c'est un bon point.

[Invité LolYangccool]

Comment aurais-je du faire, donc ?

[Mout]

C'est pas toi, c'est l'outil qui ne gère pas le conflit.

[pehache]

Tu as fait ce qu'il fallait... pour démontrer une lacune de CloudStation !

[Invité LolYangccool]

Ahhhh, ok, quand tu parlais de la façon de faire, je croyais que tu parlais de ma façon de faire le test.

En fait tu parlais de la façon de faire de CloudStation pour la synchronisation. 

[Invité pim]

C'est totalement dingue d'avoir une implémentation aussi pourrie, alors qu'il ne s'agit que d'une ligne à taper dans le Terminal !

[pehache]

A l'heure ou je te parle, et selon le moniteur d'activité :

boxSync : 24 Mo dans la RAM

DropBox : 22 Mo

GDrive : 10,2 Mo

Et le p'tit Tonido, 11,5 Mo

De mon côté :

Dropbox : 51Mo (curieux, beaucoup plus que chez toi...)

OwnCloud : 8,6Mo (nouveau détenteur du titre !)

AeroFS : 36 + 73 = 109Mo (il y a deux process qui tournent); c'est un peu lourd (c'est en Java, ceci expliquent cela)

[Invité pim]

49 Mo pour DropBox chez moi aussi

[pehache]

Tests de conflits de synchro :

ownCloud : conserve la version conflictuelle la plus récente, mais garde une copie des autres versions en les renommant avec leur date et heure de modif. Par contre ces versions renommées restent locales et ne sont pas synchronisées sur les autres machines, ce qui est un peu étrange (et pas forcément bien vu, on ne peut ne pas faire attention tout de suite qu'il y a une version conflictuelle).

Avant:
machine A :
- test.txt
machine B :
- test.txt

Après:
machine A :
- test.txt (celui modifié en dernier sur B )
- test_conflict-20140124-214932.txt (celui modifié sur A)
machine B :
- test.txt
 

AeroFS : détecte apparemment bien le conflit de synchro... mais décide apparemment de ne plus synchroniser le fichier en question, et sans rien dire ! Donc on ne se rend compte de rien... Bon, au moins les versions conflictuelles sont conservées, on ne perd rien.

 

Dropbox, pour rappel : crée une copie des versions conflictuelles les moins récentes, et les synchronise partout.

 

Avant:
machine A :
- test.txt
machine B :
- test.txt

Après:
machine A :
- test.txt (celui modifié en dernier sur B )
- test (A's conflicted copy 2014-01-24).txt

machine B :

- test.txt (celui modifié en dernier sur B )
- test (A's conflicted copy 2014-01-24).txt

[pehache]

Pour Bittorrent Sync :

 

24Mo en RAM

 

Conflits de synchro non gérés : seule la version la plus récente est conservée et synchronisée

[Mout]

Là, je savais bien que Tonido n'avait pas dit son dernier mot.

https://app.box.com/s/anjc62ln3apsss9pss7i

 

Ca vous la coupe, hein

 

Pour les tests de syncro et de gestion de conflits, il faut juste que j'arrive à le faire, mais en ce moment, c'est un peu dur, désolé...

[pehache]

Là, je savais bien que Tonido n'avait pas dit son dernier mot.

https://app.box.com/s/anjc62ln3apsss9pss7i

 

Ca vous la coupe, hein

Tu es sûr que c'est le seul process qui tourne ?

 

Pour les tests de syncro et de gestion de conflits, il faut juste que j'arrive à le faire, mais en ce moment, c'est un peu dur, désolé...

On attend avec impatience

[Invité LolYangccool]

Dropbox utilise aussi bien plus chez moi : 59,5Mo...

[Mout]

Bon, c'est curieux, ce qui se passe.

 

un serveur, S

un mac, M

un PC, P.

 

Tonido Sync est installé et synchro sur M et P, et pointent sur S. jusque là, ok.

 

M ouvre un "essai de synchro.rtf", et l'enregistre dans le dossier. P recoit le fichier, qui apparait aussi sur S. Bon.

M ouvre le rtf, et ajoute "modif sur M".

En meme temps, P ouvre le rtf et ajoute "modif sur P". les deux enregistrent à peu pres en meme temps. (je controle P depuis VNC, il est dans la piece a coté)

 

Résultat des courses : P affiche mon rtf, classique. Rapport d'activité, UPLOAD 16:01 et 33s.

M affiche mon rtf de base, plus un fichier "essai de sychro(conflict_P_2014-01-25-16-01-45).rtf". Rapport d'activité : CONFLICT P 16:01:45.

Sur S, c'est M qui a gagné. Puis, curieusement, sans crier gare, je m'apercois que c'est P qui a gagné. Le fichier a été changé sur S... Comportement bizarre, surtout que le nom du fichier n'a pas changé, et je n'ai pas le détail (dans Tonido) à la seconde près.

 

Conclusion, il y a bien un début de gestion de conflit, mais pas assez importante a mon sens. Ou alors, il faut bien la comprendre pour l'apprivoiser. Cependant, pour un usage "personnel" et pas "collaboratif", ca me semble suffisant, dans la mesure où on travaille rarement à deux endroits en meme temps.

 

Voila.

Je dois filer, plus de détails la semaine prochaine (cette semaine, weekend compris, je suis assez indisponible...)

[pehache]

Bon, c'est curieux, ce qui se passe.

 

un serveur, S

un mac, M

un PC, P.

 

Tonido Sync est installé et synchro sur M et P, et pointent sur S. jusque là, ok.

 

M ouvre un "essai de synchro.rtf", et l'enregistre dans le dossier. P recoit le fichier, qui apparait aussi sur S. Bon.

M ouvre le rtf, et ajoute "modif sur M".

En meme temps, P ouvre le rtf et ajoute "modif sur P". les deux enregistrent à peu pres en meme temps. (je controle P depuis VNC, il est dans la piece a coté)

 

Résultat des courses : P affiche mon rtf, classique. Rapport d'activité, UPLOAD 16:01 et 33s.

M affiche mon rtf de base, plus un fichier "essai de sychro(conflict_P_2014-01-25-16-01-45).rtf". Rapport d'activité : CONFLICT P 16:01:45.

Sur S, c'est M qui a gagné. Puis, curieusement, sans crier gare, je m'apercois que c'est P qui a gagné. Le fichier a été changé sur S... Comportement bizarre, surtout que le nom du fichier n'a pas changé, et je n'ai pas le détail (dans Tonido) à la seconde près.

 

Conclusion, il y a bien un début de gestion de conflit, mais pas assez importante a mon sens. Ou alors, il faut bien la comprendre pour l'apprivoiser.

Honnêtement c'est confus ton histoire...

 

Cependant, pour un usage "personnel" et pas "collaboratif", ca me semble suffisant, dans la mesure où on travaille rarement à deux endroits en meme temps.

Oui et non. En étant le seul à travailler sur les documents, les risques de conflit sont faibles, mais ils ne sont pas nuls pour autant. Par inadvertance on peut ouvrir un document sur une machine en ayant oublié de le fermer sur une autre, ou bien il peut y avoir une coupure de synchro pendant un certain temps, etc... Ce n'est pas rassurant d'utiliser un outil qui ne gère pas correctement les conflits.