BIG DATA : risque ou opportunité

Voir le sujet précédent Voir le sujet suivant Aller en bas

BIG DATA : risque ou opportunité

Message par Kyraly le Ven 28 Avr 2017 - 9:04

Bonjour

Autour de Linky, Google, FB et consort gravite souvent le terme "BIG DATA".
Ayant l'opportunité de travailler étroitement avec ce type de gestion de données (à l'échelle de mon entreprise), je vais ici vous en exposer quelques points. 

Pour une description complète et technique du sujet, je vous propose le lien Wiki qui est très complet : https://fr.wikipedia.org/wiki/Big_data

Voilà comment je résumerais ce concept (pour info, certaines phrases sont issue de la formation suivie)

Le BIG DATA est un terme regroupant le traitement de données selon la règle des 3V (Volume/variété/vitesse)

- Les volumes à traiter sont de plus en plus important, et aujourd'hui peu de machines peuvent traiter efficacement en individuel les données.
- les données a traiter sont aujourd'hui des données structurées (issues de bases de données) mais aussi des données non structurées (temps, images, fichiers txt, traces numériques, cookies, objets connectés, tweets ...)(variabilité)
- Les temps de traitements sont très important, et la volume de données X la diversité de donnée implique de nouveaux modes de traitement. Le but du Big Data est de traiter les données en flux tendu, à la limite du temps réel, pour en déduire des prédictions a court terme, et non lus analyser des données à posteriori pour comprendre un événement.

Il est nécessaire de comprendre que 90% des données stockées dans des serveurs de nos jours ont été crées après 2014. Et que la création de données devient exponentielle. Certains serveurs parlent de zettaoctets (10 puissance 21 octets).

Par rapport aux systèmes de traitement de données classiques, où l'opérateur demandait au système de corréler certaines données pour voir leur possibles interactions, là, l'opérateur laisse le système contrôler toutes les données et proposer toutes les interactions qu'il détecte sans hypothèse prédéfinie. Les programmes spécifiques sont développés pour traiter ces données et présenter les résultats de façon graphique afin d'aider à la décision et de proposer des pistes à exploiter.  

Par exemple, en analysant les habitudes des passagers, la régie des transports de Paris est en train de générer une fréquence de passage de métro non plus prédéfinie mais adaptée au besoin réel. Pour cela, ils utilisent les données croisées des "pass" (RFID), des cellulaires et des GPS de véhicules. Dans un contexte très encadré par des lois, où ces données sont utilisées en aveugle juste pour prédire les afflux de passagers, pourquoi pas. 
Mais potentiellement, il est possible de traquer un citoyen Lambda comme cela, de prévoir où il se rend en se basant sur ses habitudes et également de tracer sa vie régulière et de détecter les modifications. 

autre exemple, en Angleterre, les administrations ont crée une base de données Big Data permettant par requête de récupérer tous les documents administratifs/judiciaire/santé d'un citoyen dans le but de limiter les demandes de papiers administratifs et de gagner beaucoup de temps dans la gestion des papiers (permis de conduire/passeport/visa). Mais quid si cette base tombe dans les mains d'une entreprise privée? Un assureur pourra choisir ses clients selon des critères de risque, ou adapter son offre individuellement.

De même, selon les données météo et les flux de passagers, les couloirs aériens deviennent "mouvants", permettant d'optimiser les temps de vols et de limiter au maximum les consommation en carburant. 

La police américaine a crée sur ce modele "Blue crush", un programme qui prédit les zones et les heures où des délits ont le plus de probabilité de se produire, afin d'optimiser les patrouilles. (on est presque à "minority report" là). http://www.memphisconnect.com/memphis-living33368
Donc le travail de la police de Memphis est très largement basé sur un logiciel crée et entretenu par IBM. Encore une fois, c'est parfait dans un monde parfait... 

Dans le domaine médical, les Big Data ont permis des avancées très importantes, en particulier c'est pas ce procédé que les séquençage ADN sont devenu abordables financièrement et rapides. C'est aussi via des analyses Big Data que des épidémies de Cholera ont pu etre enrayées (Haiti). 

Neammoins, malgré les recommandations du CNIL et des instances européennes :
La loi “Informatique et Libertés” précise par ailleurs que ces données personnelles doivent être collectées et traitées pour des finalités déterminées, explicites et légitimes. Seules les données pertinentes pour un usage défini peuvent donc être collectées.

Dans le cadre des débats européens sur le projet de règlement européen du 25 janvier 2012, la position de la Commission est que la finalité de l’utilisation des données personnelles devrait être clairement établie

Ces demandes sont complètement contraire au concept même du Big Data. Il est impossible de rendre des données anonymes, puisque la masse de donnée est telle que les recoupements sont toujours possible, quand a définir une finalité, ce serait refute rle fait que les analyses de données peuvent donner des pistes non prévue par les opérateurs.

Enfin, le plus gros problème est "quid des bases de données"? Il y a au USA des data-brokers qui collectent et revendent des données. Comment collectent ils et à qui vendent ils?? http://www.zdnet.fr/actualites/data-brokers-aux-etats-unis-votre-vie-privee-est-en-vente-39789295.htm
Imaginez demain une entreprise qui stocke des données permettant de vous traquer (via votre adresse IP, votre numéro de tel, votre pass navigo, vos données bancaire) et donc de définir précisément votre profil client, quelles offres vous feront réagir, quelles promotions vous feront acheter, a quelle heure vous passez usuellement dans un centre commercial... et que cette entreprise vend ces données, vous payerez plus des choses inutiles sans vous en apercevoir, inconsciemment...  (sauf bien évidement ceux qui font le maximum pour sortir du système).

Dans le cas du Big Data Linky, demain EDF pourra connaitre précisément l'état de vos appareils ,votre fréquence d'utilisation, les chaines de télé que vous regardez (Médiamétrie est déjà en train de travailler sur une solution s'appuyant sur le Big Data pour connaitre exactement les résultats d'audience, mais comment peuvent ils avoir accès a ces données??). Bref, aujourd'hui il est promis que les données collectées par Linky ne serviront qu'à la gestion optimale du réseau (ce qui est en soit un mensonge, puisque les données des répartiteurs suffisent). Mais demain?? Si les status d'EDF changent et qu'ils revendent ces données? Demain D*** ou Bou**** peux vous proposer un nouveau lave linge, car ils auront le pouvoir de détecter que le votre devient défaillant (chaque appareil électrique a une signature propre, et les défaillances sont aisément détectables via des analyses BD? c'est pour cela que nous l'installons dans mon entreprise). De fait, la majorité des gens l’achèteront sans comparer, sans essayer de le réparer... 
De même, votre contrat de fourniture d'énergie va évoluer, demain il sera comme un abonnement téléphonique, avec des heures préférentielles, des tarifs selon différents moments de la journée, et bien entendu l'altruisme de votre Fournisseur le poussera à utiliser les donnés collectées pour vous proposer les meilleurs tarifs aux heures les plus intéressantes (pour lui).

Bref, une révolution numérique est en marche, elle n'est pas encadrée, le flou autour des capacités de ces données va générer un nouveau paradigme, et les gros groupes vont augmenter leur main mise sur le système via ce biais... 

Et ceci n'est pas un résumé d'un livre de Sci-fi, c'est aujourd'hui...
avatar
Kyraly
Membre

Masculin Nombre de messages : 497
Localisation : Grand Est
Emploi : Industrie
Date d'inscription : 08/02/2017

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: BIG DATA : risque ou opportunité

Message par Wanamingo le Ven 28 Avr 2017 - 22:04

Excellent post. Très clair
avatar
Wanamingo
Modérateur & animateur

Masculin Nombre de messages : 1302
Date d'inscription : 27/07/2011

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: BIG DATA : risque ou opportunité

Message par merlin06 le Ven 28 Avr 2017 - 22:58

Merci pour le topo. Very Happy

Un pas de plus dans l'abandon du principe de précaution pour augmenter les possibilités de business, la récolte et l'analyse de données sont très porteurs avec l'avènement du tout numérique.

Business humanum est? clind'oeil

________________________________________________________
« Celui qui voit un problème et qui ne fait rien fait partie du problème. » Mahatma Gandhi.
avatar
merlin06
Membre Premium

Masculin Nombre de messages : 200
Localisation : Auvergne
Date d'inscription : 21/05/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: BIG DATA : risque ou opportunité

Message par Kyraly le Sam 29 Avr 2017 - 9:37

Additionne cela avec les tentatives de l'EU de faire disparaître le liquide, imaginons un instant un monde ou chaque transaction est numérisée, enregistrée, potentiellement disséquée par des algorithme et que ces données sont à vendre... 
http://www.huffingtonpost.fr/pascal-ordonneau/big-data-banques-monnaies_b_7592010.html

Un monde où toutes vos données médicales sont numérisée et utilisée (pour le moment) à des fins statistiques ... mais que bientôt votre mutuelle pourras y accéder pour vous proposer des contrats "adaptés" a votre situation.. 
http://www.huffingtonpost.fr/anne-cousin/donnees-de-sante-du-big-d_b_3920424.html
https://www.conseil-national.medecin.fr/sites/default/files/donnees_de_sante_ag_2016.pdf

Bref, un monde où votre vie serait surveillé pour vous protéger en cas de catastrophe naturelle ou d’épidémie (et permettre en cas d’émeute ou de manifestation de savoir qui était où et quand...)
https://www.telefonica.com/en/web/public-policy/blog/article/-/blogs/big-data-for-social-good-opportunities-and-challenges
 
Bref, Orwell avait vu juste, mais c'était trompé de 33 ans...
avatar
Kyraly
Membre

Masculin Nombre de messages : 497
Localisation : Grand Est
Emploi : Industrie
Date d'inscription : 08/02/2017

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: BIG DATA : risque ou opportunité

Message par banou le Sam 29 Avr 2017 - 10:40



Dans le cas du Big Data Linky, demain EDF pourra connaitre précisément l'état de vos appareils ,votre fréquence d'utilisation, les chaines de télé que vous regardez (Médiamétrie est déjà en train de travailler sur une solution s'appuyant sur le Big Data pour connaitre exactement les résultats d'audience, mais comment peuvent ils avoir accès a ces données??). Bref, aujourd'hui il est promis que les données collectées par Linky ne serviront qu'à la gestion optimale du réseau (ce qui est en soit un mensonge, puisque les données des répartiteurs suffisent). Mais demain?? Si les status d'EDF changent et qu'ils revendent ces données? Demain D*** ou Bou**** peux vous proposer un nouveau lave linge, car ils auront le pouvoir de détecter que le votre devient défaillant (chaque appareil électrique a une signature propre, et les défaillances sont aisément détectables via des analyses BD? c'est pour cela que nous l'installons dans mon entreprise). De fait, la majorité des gens l’achèteront sans comparer, sans essayer de le réparer... 
De même, votre contrat de fourniture d'énergie va évoluer, demain il sera comme un abonnement téléphonique, avec des heures préférentielles, des tarifs selon différents moments de la journée, et bien entendu l'altruisme de votre Fournisseur le poussera à utiliser les donnés collectées pour vous proposer les meilleurs tarifs aux heures les plus intéressantes (pour lui).

Bref, une révolution numérique est en marche, elle n'est pas encadrée, le flou autour des capacités de ces données va générer un nouveau paradigme, et les gros groupes vont augmenter leur main mise sur le système via ce biais... 

Et ceci n'est pas un résumé d'un livre de Sci-fi, c'est aujourd'hui...







voilà ce que je crains depuis longtemps et dont j'ai déjà parler ailleurs sans vraiment rencontrer que de l'incompréhension ou de l'indifférence ! Crying or Very sad big data c'est l'outil de big brother.....  

et parlons donc des gens qui vont avoir 10 mn de retard pour payer leurs factures ....n'importe quelle facture pas seulement l’énergie ....via la démonétisation prévue ....

pour ma part je ferai tout pour ne pas "être numérisée" enfin le moins possible ... pale

banou
Membre

Féminin Nombre de messages : 55
Date d'inscription : 01/10/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: BIG DATA : risque ou opportunité

Message par Kyraly le Jeu 18 Mai 2017 - 10:03

Bonjour

Une application directe d'utilisations des données issue du Big Data via un algorithme apprenant :

http://bfmbusiness.bfmtv.com/entreprise/chez-shell-le-prix-du-carburant-a-la-pompe-pourra-varier-10-foisjour-1165012.html

Le prix du carburant dans ces stations est fixé non par un être humain ni quotidiennement (comme c'est le cas en France) mais par un logiciel et ce plusieurs fois par jour, voire chaque heure. Un algorithme "intelligent" analyse en permanence la demande de carburant sur la zone, selon les prix pratiqués, l'historique de ces tarifs ou l'heure où le client effectue son plein.

Il s'inspire du modèle dit du yield management auquel ont recours les compagnies aériennes ou les hôteliers qui augmentent leurs tarifs en fonction taux de remplissage de leurs avions ou de leurs établissements et des actions promotionnelles de leurs concurrents.

A propos du Yield management :
Le Yield Management (désigné également sous le terme de " Revenue Management " ou " Tarification en temps réel " ou encore « Tarification flexible) est une méthode de fixation du prix qui permet de calculer, en temps réel, les meilleurs prix pour optimiser le profit généré par la vente d’un produit ou d’un service, sur la base d’une modélisation et d’une prévision en temps réel du comportement de la demande par micro segment de marché.
C’est une approche qui a vu le jour aux Etats-Unis au début des années 1980 avec la déréglementation du transport aérien. A partir des années 1990, la pratique du Yield Management s’est développé dans de nombreux secteurs d’activité tout d’abord aux Etats-Unis puis en Europe.
Le yield management consiste à ne plus fixer de tarifs mais à considérer que le prix évolue en fonction du client et du moment de la transaction, pour maximiser les recettes. Ainsi, il s’agit de s’adapter continuellement à la demande en suivant l’évolution de la situation.
Les conséquences positives de l’utilisation de ce concept sont ressenties par l’ensemble des intervenants : côté producteur, hausse du chiffre d’affaires et du résultat ; côté consommateur, possibilité de baisse des prix sans impact sur la qualité du service.
La percée du Yield Management va de pair avec le développement de la distribution électronique. C’est une arme tactique essentielle dont dépend la rentabilité, voire la viabilité, des entreprises opérant dans un environnement fortement concurrentiel.
Issu d'un cours marketing dont je ne retrouve pas la source

Selon la pertinence des résultats de cet essais, qui détermineront le "QUAND" mais pas le "QUOI", nous verrons arriver de plus en plus cette technique de prix dynamique dans notre entourage.
C'est déjà le cas dans les hôtels, restaurants et voyage, çà le devient dans la distribution d'essence et a mon sens, la suite logique est d'avoir des étiquettes de prix dynamique dans les supermarchés d'ici 3 à 5 ans.

Selon ce nouveau paradigme économique, les prix évoluerons selon l'utilité et la rareté du produit. Par exemple, le pack de bouteille d'eau minérale serait plus cher en cas de coup de chaud, surtout si le stock se réduit.

Au niveau consommateur, cela impliquera de faire très attention aux prix, et de devoir aborder les achats avec une nouvelle philosophie, celle de devoir faire des stock quand le produit est a bon prix.
De fait, les coûts logistiques des supermarchés seraient réduits car transposé partiellement chez le consommateur.
avatar
Kyraly
Membre

Masculin Nombre de messages : 497
Localisation : Grand Est
Emploi : Industrie
Date d'inscription : 08/02/2017

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: BIG DATA : risque ou opportunité

Message par Kyraly le Mer 26 Juil 2017 - 22:38

Un autre article intéressant a lire : les données des aspirateurs robots existent déjà (taille du logement, agencement, etc) et seraient potentiellement a vendre.

http://www.lemonde.fr/pixels/article/2017/07/25/vendre-le-plan-de-nos-logements-le-nouvel-horizon-des-robots-aspirateurs-roomba_5164704_4408996.html

"avis personnel" : Alors certes, ils jurent leur grands dieux que c'est avec la pleine et entière acceptation des propriétaires des logements, mais au rythme où vont les choses, beaucoup de personnes accepterons de vendre leur données pour arrondir leur fin de mois (pour compenser les 5€ des APL par ex...)
avatar
Kyraly
Membre

Masculin Nombre de messages : 497
Localisation : Grand Est
Emploi : Industrie
Date d'inscription : 08/02/2017

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: BIG DATA : risque ou opportunité

Message par merlin06 le Jeu 27 Juil 2017 - 7:21

Merci pour l'info, jusqu'où s'arrêteront-ils?

Dans le genre Olduvaï, le forum pour briller en société, j'ai parlé de yield management(découvert sur ce fil) avec un client hier, il y a des entreprises de conseil qui forment les hôteliers, secteur dans lequel c'est un énorme succès.

________________________________________________________
« Celui qui voit un problème et qui ne fait rien fait partie du problème. » Mahatma Gandhi.
avatar
merlin06
Membre Premium

Masculin Nombre de messages : 200
Localisation : Auvergne
Date d'inscription : 21/05/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: BIG DATA : risque ou opportunité

Message par Kyraly le Sam 30 Sep 2017 - 22:30

Bonjour

Un sujet qui inquiète en ce moment, le vote dans une dizaine de jours du
RÈGLEMENT DU PARLEMENT EUROPÉEN ET DU CONSEIL concernant le respect de la vie privée et la protection des données à caractère personnel dans les communications électroniques et abrogeant la directive 2002/58/CE (règlement «vie privée et communications électroniques»)"


Le texte  est disponible ici : http://eur-lex.europa.eu/legal-content/FR/TXT/?uri=CELEX:52017PC0010

Le collectif la quadrature du net y voit des failles pour la protection de la vie privée, particulierement via l'exploitations de nos données :
[url=https://eprivacy.laquadrature.net/fr/#Pistage en ligne]https://eprivacy.laquadrature.net/fr/#Pistage en ligne[/url]

Ce texte fait aussi grincer des dents aux membres du e commerce et éditeurs numériques :
https://www.humanite.fr/sites/default/files/lettre_ouverte_tabloid-web.pdf
http://www.journaldunet.com/ebusiness/commerce/1196486-marc-lolivier-fevad-eprivacy/
avatar
Kyraly
Membre

Masculin Nombre de messages : 497
Localisation : Grand Est
Emploi : Industrie
Date d'inscription : 08/02/2017

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum