Full Circle Magazine FR

Outils pour utilisateurs

Outils du site

Piste :
issue115:freepascal

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
issue115:freepascal [2016/12/07 09:53] – d52frissue115:freepascal [2016/12/11 17:14] (Version actuelle) – andre_domenech
Ligne 2: Ligne 2:
  
 In the previous part of the series, we deviated a bit from Free Vision and went into the technical details on how to use the CURL library from Pascal to connect to an RSS feed on FCM’s content management system. At this stage, we know how to connect to the server and download an XML file containing a list of recent articles published on the web page. In this part, we will see how to parse the XML code to retrieve the information we are aiming for: issue numbers and download URLs. We will then put it all together, and update the database our application uses with fresh data from the Web.** In the previous part of the series, we deviated a bit from Free Vision and went into the technical details on how to use the CURL library from Pascal to connect to an RSS feed on FCM’s content management system. At this stage, we know how to connect to the server and download an XML file containing a list of recent articles published on the web page. In this part, we will see how to parse the XML code to retrieve the information we are aiming for: issue numbers and download URLs. We will then put it all together, and update the database our application uses with fresh data from the Web.**
 +
 +Dans cette série d'articles, je construirai une application en mode texte avec Free Pascal, en utilisant son interface en mode texte pour l'interaction avec l'utilisateur. Ceci sera combiné avec d'autres technologies, plus modernes, telles que l'accès à une base de données en utilisant SQL et l'accès au Web avec HTTP. Le but final du projet est de démontrer comment Pascal peut être utilisé pour construire une application moderne, tout en évitant le surpoids associé à une interface graphique qui utilise un jeu de gadgets comme GTK ou Qt.
 +
 +Dans l'article précédent de la série, nous avons un peu dévié de Free Vision en allant dans les détails techniques de l'utilisation de la bibliothèque CURL pour se connecter à un lien RSS sur le CMS (Content Management System - Système de gestion du contenu) du FCM. Maintenant, nous savons comment nous connecter au serveur et télécharger un fichier XML contenant une liste des articles récents, publiés sur la page Web. Dans ce numéro, nous verrons comment analyser le code XML pour retrouver l'information ciblée : le numéro de publication et les URL de téléchargement. Nous les assemblerons et mettrons à jour la base de données qu'utilise notre application avec des données fraîches issues du Web.
  
 **Understanding the XML language **Understanding the XML language
Ligne 10: Ligne 14:
  
 The beauty of this scheme is that it may easily be adapted for different purposes in a flexible manner. For instance, in the above example, one of the books has been marked with a genre, while another has not.** The beauty of this scheme is that it may easily be adapted for different purposes in a flexible manner. For instance, in the above example, one of the books has been marked with a genre, while another has not.**
 +
 +Comprendre le langage XML
 +
 +Le XML (EXtended Meta Language - Méta-langage étendu) est un langage simple en mode texte dont le but est de structurer les données sous forme d'arbre : chaque élément de données peut avoir aucun ou plusieurs nœuds enfant. En revanche, chaque élément doit avoir un unique parent, sauf pour un seul nœud dans tout l'arbre, qui est donc appelé l'élément racine. Chaque élément doit s'ouvrir avec une étiquette de début, tel que <élément>. L'étiquette de fin correspondante sera </élément>.
 +
 +Peut-être qu'un exemple peut aider. Si nous souhaitons codifier une bibliothèque, par exemple, notre élément racine sera la bibliothèque elle-même. Cette bibliothèque peut ensuite contenir un élément définissant son propriétaire et peut-être un autre donnant la date à laquelle le jeu de données a été compilé. Enfin, nous créerons un élément pour chaque livre de la bibliothèque, en donnant ses titre et auteur.
 +
 +La beauté de ce schéma est qu'il peut être facilement adapté à différents sujets de manière flexible. Par exemple, dans le cas ci-dessus, un des livres a été marqué avec un genre et l'autre pas.
  
 **Writing a program to transverse a data set in XML has its own challenges; luckily for us, the Free Pascal project has foreseen the use of a set of standard classes that may be implemented for our own purposes. Let us write a simple program that reads in an XML file, and outputs on screen each element name in sequence, or its value if it is a text element that simply contains text. To begin with, let us include the standard and XML classes and define our variables (previous page, bottom right). **Writing a program to transverse a data set in XML has its own challenges; luckily for us, the Free Pascal project has foreseen the use of a set of standard classes that may be implemented for our own purposes. Let us write a simple program that reads in an XML file, and outputs on screen each element name in sequence, or its value if it is a text element that simply contains text. To begin with, let us include the standard and XML classes and define our variables (previous page, bottom right).
Ligne 22: Ligne 34:
    
 settings.Namespaces := true;** settings.Namespaces := true;**
 +
 +L'écriture d'un programme pour transposer un jeu de données en XML a ses difficultés spécifiques ; heureusement pour nous, le projet Free Pascal a prévu l'usage d'un ensemble de classes standard, qui peuvent être utilisées pour nos propres besoins. Écrivons un programme simple qui lit un fichier XML et sort à l'écran le nom de chaque élément en séquence, ou sa valeur si c'est un élément de texte qui ne contient que du texte. Pour commencer, incluons les classes standard et XML et définissons nos variables (page précédente, en bas à droite).
 +
 +TFileStream sera utilisé pour accéder au fichier XML sur le disque local et le rendre disponible à TXMLReader à travers une classe d'adaptation, TXMLInputSource. L'objet TXMLReaderSettings est nécessaire pour passer les paramètres au lecteur.
 +
 +Nous commençons par configurer les paramètres, essentiellement en disant au lecteur d'ignorer les espaces blancs supplémentaires (les vrais blancs, mais aussi les changements de lignes et les tabulations) et d'utiliser les noms d'espace XML si disponibles, bien que nous n'en ayons pas besoin ici :
 +
 +settings := TXMLReaderSettings.Create;
 + 
 +settings.PreserveWhiteSpace := false;
 + 
 +settings.Namespaces := true;
  
 **We access the file, and create a TXMLInputSource from the resulting stream: **We access the file, and create a TXMLInputSource from the resulting stream:
Ligne 40: Ligne 64:
  
 In the last part of this series, we obtained the RSS for Full Circle Magazine using the CURL library. This is a piece of XML data, with the following structure. It has been cleaned up a bit to showcase relevant elements (shown below).** In the last part of this series, we obtained the RSS for Full Circle Magazine using the CURL library. This is a piece of XML data, with the following structure. It has been cleaned up a bit to showcase relevant elements (shown below).**
 +
 +Nous accédons au fichier pour créer une TXMLInputSource du flux résultant :
 +
 +f := TFileStream.Create('test.xml', fmOpenRead);
 +
 +input := TXMLInputSource.Create(f);
 +
 +Maintenant (voir ci-dessus), nous pouvons créer notre TXMLTextReader et lui faire analyser chaque élément rencontré.
 +
 +Enfin, n'oublions pas de fermer le flux du fichier proprement :
 +
 +f.Free;
 +
 +Le code complet du programme est disponible ici : http://pastebin.com/PtciSAQb
 +
 +Analyser notre flux RSS en XML
 +
 +Dans la partie précédente de cette série, nous avions obtenu le RSS du Full Circle Magazine en utilisant la bibliothèque CURL. Ce sont des données XML, avec la structure suivante. Il a été un peu nettoyé pour mieux souligner les éléments intéressants (voir ci-dessous).
  
 **So, what we want to do is isolate individual <title> elements, and, within each element, the corresponding <link>. We have on the one hand a routine from CURL that fetches the contents of a URL, and produces a readable Stream. On the other hand, we have an XML parser that can parse a writable Stream. The link is obvious: we now need a mechanism to pipe data from the first stream into the second, and, in Free Pascal, this mechanism is a piped stream. Let’s do it. First, we will need a double set of variables (next page, top right). **So, what we want to do is isolate individual <title> elements, and, within each element, the corresponding <link>. We have on the one hand a routine from CURL that fetches the contents of a URL, and produces a readable Stream. On the other hand, we have an XML parser that can parse a writable Stream. The link is obvious: we now need a mechanism to pipe data from the first stream into the second, and, in Free Pascal, this mechanism is a piped stream. Let’s do it. First, we will need a double set of variables (next page, top right).
Ligne 48: Ligne 90:
  
   CreatePipeStreams (inPipe, outPipe);**   CreatePipeStreams (inPipe, outPipe);**
 +
 +Aussi, nous voulons isoler les éléments individuels <title> (titre), et,  dans chaque élément, le <link> (lien) correspondant. D'un côté, nous avons une routine en CURL qui récupère le contenu d'une URL et produit un Stream lisible. De l'autre côté,  nous avons un analyseur XML qui peut analyser un Stream scriptible. Le lien est évident : nous avons besoin maintenant d'un mécanisme pour « tuber » le premier Stream vers le second ; dans Free Pascal, le mécanisme est un « piped stream » (flux en tube). Faisons-le. D'abord, nous avons besoin d'un double jeu de variables (page suivante, en haut à droite).
 +
 +Le premier jeu est celui utilisé pour la bibliothèque CURL, le second sera pour les flux d'entrée et de sortie qui seront analysés ensemble, et le troisième jeu sera pour l'analyseur XML. Enfin, les deux chaînes et les variables booléennes associées seront nécessaires pour relier chaque élément (de type ntElement) à sa valeur associée (type ntText), qui n'est pas l'élément lui-même, mais un sous-élément inséré dans l'élément parent. Malheureusement, l'élément textuel n'est pas toujours en première position dans les éléments enfants ; aussi, un jeu plutôt alambiqué d'indicateurs (les variables booléennes) doit être utilisé pour les détecter.
 +
 +Nous n'irons pas plus loin, que ce soit dans la description de la bibliothèque CURL, que nous avons décrite dans l'article précédent de cette série, ni à propos de l'analyseur XML. Nous nous concentrerons plutôt sur l'utilisation des flux en tube. Nous créerons les deux flux ensemble : 
 +
 +  CreatePipeStreams (inPipe, outPipe);
  
 **The CURL library can then be created using the outPipe section, to which it will write the data obtained from the Internet: **The CURL library can then be created using the outPipe section, to which it will write the data obtained from the Internet:
Ligne 63: Ligne 113:
  
 At this stage, we have on the one hand a working Free Vision application, that consults its internal SQLite database of FCM issues and gives the result in a scrolling list on screen. On the other hand, we have a mechanism to connect to the Internet and update the database. Now, we need to connect the two, so that the database is updated before the data is shown to the user.** At this stage, we have on the one hand a working Free Vision application, that consults its internal SQLite database of FCM issues and gives the result in a scrolling list on screen. On the other hand, we have a mechanism to connect to the Internet and update the database. Now, we need to connect the two, so that the database is updated before the data is shown to the user.**
 +
 +La bibliothèque CURL peut ensuite être créée en utilisant la section outPipe, vers laquelle il écrira les données obtenues d'Internet :
 +
 +  curl_easy_setopt(hCurl,CURLOPT_WRITEDATA,[Pointer(outPipe)]);
 +
 +L'entrée du lecteur XML sera connectée à la section inPipe, de laquelle il lira les mots :
 +
 +  input := TXMLInputSource.Create(inPipe);
 +
 +Enfin, la boucle principale du lecteur XML peut être configurée pour détecter les paires titre/lien. Pour l'instant, ils seront uniquement sortis sur écran (voir en bas à droite).
 +
 +Le programme complet peut être trouvé ici : http://pastebin.com/ciVGXvy6
 +
 +Intégrer l'analyse XML dans notre application Free Vision
 +
 +À ce stade, d'une part, nous avons une application Free Vision fonctionnelle, qui consulte sa base de données SQLite des numéros du FCM et qui donne son résultat dans une liste déroulante à l'écran. D'autre part, nous avons un mécanisme pour nous connecter à Internet et rafraîchir notre base de données. Maintenant, nous avons besoin de connecter les deux, de sorte que la base de données soit mise à jour avant de montrer les données à l'utilisateur.
  
 **Perhaps the most elegant way of doing this - and the least expensive in terms of writing code - is to create a new Dialog type. Called TUpDateDialog, it will be shown on screen just before TDisplaySQLDialog is created. So, in the main application’s HandleEvent procedure, we have what's shown on the next page, top right. **Perhaps the most elegant way of doing this - and the least expensive in terms of writing code - is to create a new Dialog type. Called TUpDateDialog, it will be shown on screen just before TDisplaySQLDialog is created. So, in the main application’s HandleEvent procedure, we have what's shown on the next page, top right.
Ligne 80: Ligne 146:
 • The XML reader itself, associated settings, and several variables to identify each new issue’s identification code (e.g. ‘111’), title (‘Full Circle Magazine #111’) and download link. • The XML reader itself, associated settings, and several variables to identify each new issue’s identification code (e.g. ‘111’), title (‘Full Circle Magazine #111’) and download link.
 • A handler for the SQLite connection to the local database.** • A handler for the SQLite connection to the local database.**
 +
 +La façon peut-être la plus élégante de le faire - et la moins chère en écriture de code - est de créer un nouveau type Dialog. Appelé TUpDateDialog, il sera montré à l'écran juste avant la création de TDisplaySQLDialog. Ainsi, dans la procédure HandleEvent de l'application principale, nous avons ce qui est montré sur la page suivante, en haut à droite.
 +
 +TUpDateDialog n'a besoin d'aucune entrée externe - car il utilisera toujours la même URL cible pour se connecter à Internet -, mais seulement du nom de fichier de la base de données locale pour ajouter chaque donnée trouvée dans les nouveaux numéros du FCM. Pour ce Dialog il ne faudra qu'un « constructor » (constructeur) qui le bâtira et déclenchera le processus :
 +
 +  TUpdateDialog = object(TDialog)
 + constructor Init (FileName : String);
 +  end;
 +  PUpdateDialog = ^TUpdateDialog;
 +
 +Cette procédure de constructeur aura besoin d'un bon nombre de variables, mais elles peuvent être classées en catégories séparées. Il nous faudra : 
 +• Un TRect et un PLabel pour paramétrer ce Dialog à l'écran ; ce sera la partie Free Vision.
 +• Une URL et un PCurl pour aller sur Internet et récupérer un flux accédant aux informations du FCM.
 +• Deux tubes, pour préparer la connexion entre le flux d'entrée venant d'Internet et le flux de sortie vers le lecteur XML.
 +• Le lecteur XML lui-même, ses paramètres associés et plusieurs variables pour identifier le code d'identification de chaque nouveau numéro (par ex. 111), le titre (par ex. ‘Full Circle Magazine #111’) et le lien de téléchargement.
 +• Un gestionnaire pour la connexion de SQLite à la base de données locale.
 +
  
 **So, have a look at the code  shown bottom right. **So, have a look at the code  shown bottom right.
Ligne 92: Ligne 175:
  
 Now, all we need to do is determine, for each issue announcement found in the XML stream, if this issue is already inside our database. To so do, we will need to get back to the SQLite driver, and search the existing issues with the same identifying code. If a match is not found, this issue is a new one and needs to be appended to the existing table (shown top right).** Now, all we need to do is determine, for each issue announcement found in the XML stream, if this issue is already inside our database. To so do, we will need to get back to the SQLite driver, and search the existing issues with the same identifying code. If a match is not found, this issue is a new one and needs to be appended to the existing table (shown top right).**
 +
 +Aussi, jetez un œil au code présenté ci-dessous.
 +
 +La plupart du code ne sera pas reproduit ici , car c'est, au fond, un rabâchage de ce qui a été écrit dans notre article précédent et au début de celui-ci. Les points marquants sont l'utilisation d'un analyseur d'expressions régulières (regexp) de façon à analyser les titres dans le flux XML, en identifiant ceux qui contiennent le texte signalant un nouveau numéro du FCM. Nous cherchons quelque chose comme « #109 », « #110 », « #111 », ... ; soit, en gros, un signe « # » suivi d'une série de chiffres. Ceci peut être réalisé systématiquement avec le code suivant :
 +
 +re := TRegExpr.Create;
 +
 +re.Expression := '#[0-9]*';
 +
 +Nous pouvons utiliser maintenant « re » comme un lecteur d'expression régulière de la manière suivante, pour identifier si la valeur suivante trouvée par le lecteur XML contient l'expression que nous cherchons. Si c'est le cas, elle peut être isolée et utilisée comme départ du code du numéro à insérer dans la base de données (voir en bas à gauche).
 +
 +Maintenant, tout ce que nous avons à faire est de déterminer, pour chaque annonce d'un numéro trouvé dans le flux XML, si ce numéro est déjà dans notre base de données. Pour le faire, nous devons revenir au pilote SQLite et chercher les numéros existants avec le même code d'identification. S'il n'y a pas de correspondance, ce numéro est nouveau et doit être ajouté à la table existante (présentée en haut à droite).
  
 **Once the XML code has been completely parsed, we can alter the label on the Dialog to notify the user of how many new issues of FCM have been found. In my case, my database had been initialized by hand with issues 108, 109 and 110. I launched the application, and several new issues were detected from the XML feed: previous issue 107, and newer issue 111. This last one was identified twice, since two different posts on FCM’s feed referenced this issue, but was inserted only once into the database. **Once the XML code has been completely parsed, we can alter the label on the Dialog to notify the user of how many new issues of FCM have been found. In my case, my database had been initialized by hand with issues 108, 109 and 110. I launched the application, and several new issues were detected from the XML feed: previous issue 107, and newer issue 111. This last one was identified twice, since two different posts on FCM’s feed referenced this issue, but was inserted only once into the database.
Ligne 102: Ligne 197:
  
 In this part of the series, we put our complete application together using Free Vision for the user interface, SQLite to create a local data, and CURL and XML to retrieve fresh data from an RSS feed from the Web to update our database. In the next part, we will see various ways in which our application can run on a Raspberry Pi.** In this part of the series, we put our complete application together using Free Vision for the user interface, SQLite to create a local data, and CURL and XML to retrieve fresh data from an RSS feed from the Web to update our database. In the next part, we will see various ways in which our application can run on a Raspberry Pi.**
 +
 +Une fois le code XML complètement analysé, nous pouvons modifier l'étiquette dans le Dialog pour signifier à l'utilisateur combien de nouveaux numéros du FCM ont été trouvés. Dans mon cas, ma base de données a été initialisée à la main avec les numéros 108, 109 et 110. J'ai lancé l'application et plusieurs nouveaux numéros ont été détectés dans le flux XML : le numéro antérieur 107 et le récent 111. Ce dernier a été identifié deux fois, car deux messages différents du flux FCM faisaient référence à ce numéro, mais il n'a été ajouté qu'une fois dans la base de données.
 +
 +  msgLabel^.Text := NewStr('Found ' + IntToStr(newItems) + ' new issues...');
 + 
 + DrawView;
 +
 +Le code final de l'application peut être trouvé ici : http://pastebin.com/H422xg3V
 +
 +Dans cet article de la série, nous avons assemblé l'application entière en utilisant Free Vision pour l'interface utilisateur, SQLite pour créer une donnée locale et CURL et XML pour retrouver des données fraîches dans un flux RSS venant du Web afin de mettre à jour notre base de données. Dans la prochaine partie, nous verrons différentes façons de faire tourner notre application sur un Raspberry Pi.
  
issue115/freepascal.1481100788.txt.gz · Dernière modification : 2016/12/07 09:53 de d52fr