As many of you who have been reading this column for a while might know, one of my hobbies is cooking. Since I'm the one in the family who cooks every night, I'd have to say that it's my favorite hobby. My eighth article for Full Circle back in FCM#34 (February 2010) was about creating a very small and generic cookbook database. The fact that it is 10 years to the month since I first wrote about the database program hasn't escaped me.
Comme peuvent le savoir beaucoup d'entre vous qui lisez cette rubrique depuis longtemps, la cuisine est l'un de mes violons d'Ingres. Comme je suis le seul de la maison à cuisiner chaque soir, je peux dire que c'est mon occupation préférée.
Mon huitième article, dans le numéro 34 du FCM (février 2010) parlait de la création d'une toute petite base de données générique de cuisine. Le fait que, ce mois-ci, ça fait 10 ans que j'ai commencé à parler de cette base de données, ne m'a pas échappé.
Anyway, I've started re-writing the program, pretty much from scratch, and again using Page as the GUI designer. I wanted to give it a newer, sleeker look, with a nicer interface, and there have been many things that i've wanted to add for years, but just never got around to doing. Things like adding a way to have a picture of the finished product, a way to grab a recipe from one of the many recipe websites I search, and more. While I'm still in the process of development and the UI is still somewhat in flux, I'm pretty proud of the new look and feel. Here's a quick screenshot of the main form of the program.
Quoiqu'il en soit, j'ai commencé à réécrire le programme, de zéro, ou à peu près, et en utilisant à nouveau Page comme environnement graphique de conception. Je voulais lui donner un aspect plus neuf, plus épuré, avec une interface plus jolie, et il y a beaucoup de choses que je veux ajouter depuis longtemps ; mais je n'ai jamais pris le temps de le faire. Des choses comme ajouter une façon d'avoir une photo du résultat, une manière de récupérer une recette d'un des nombreux sites Web de recettes sur lesquels je fais des recherches, et plus encore.
Bien que je sois toujours dans le processus de développement, et que l'interface utilisateur soit toujours quelque peu en chantier, je suis assez fier de son nouvel aspect. Voici une rapide copie d'écran de la forme principale du programme.
As I said, one of the things that I was both excited and worried about was the webpage scraper. I've tried writing a generic scraper before with limited success, but never could wrap my head around it properly. Part of the problem was that other things with a higher priority level would come up just as I was starting to be comfortable with the process, and I would have to put the project on hold. By the time I got around to revisiting the project, I had to spend a good while trying to remember what I was doing and how I had done it. I ended up so frustrated I started searching the web for some tips and tricks that others posted that might give me a leg up on my learning process.
Comme je l'ai dit, l'extracteur de contenu d'une page Web était une des choses qui, à la fois, me passionnait et m'horrifiait. J'ai déjà essayé d'écrire un extracteur générique avec un succès limité, mais je n'ai jamais pu comprendre correctement pourquoi. Une partie du problème venait du fait que d'autres choses, avec des niveaux de priorité plus hauts, sont arrivées juste au moment où je commençais à me sentir à l'aise avec le processus, et j'ai dû mettre le projet en attente. Quand j'ai pu me remettre sur le projet, j'ai dû passer un bon moment à essayer de me rappeler ce que j'avais fait et comment je l'avais fait. À la fin, j'étais tellement frustré que j'ai cherché quelques trucs et astuces postés par d'autres sur le Web et qui pourraient m'aider à accélérer mon processus d'apprentissage.
I stumbled upon a really nice project called “recipe-scrapers” that seemed to be created just for my issue. It was a free and open source library for Python that provides custom scrapers for many cooking recipe websites, one of which is Allrecipes.com, which I end up on at least twice a week when I'm looking for new ideas for dinner recipes. At the time, there were about 20 sites that they supported and it seemed that they were very active in adding more sites. As of this writing, there are 41 different sites that are supported. Let's look at how to install the library and utilize it.
Je suis tombé sur un beau projet appelé « recipe-scrapers » qui semblait avoir été créé juste pour ce numéro. C'est une bibliothèque gratuite et Open Source qui fournit des extracteurs personnalisés pour de nombreux sites Web de recettes de cuisine, dont l'un d'eux s'appelle Allrecipes.com, sur lequel je me retrouve au moins deux fois par semaine quand je cherche de nouvelles idées de recettes de dîners. À ce moment-là, il y avait environ 20 sites supportés et il me semblait qu'ils s'activaient beaucoup à ajouter d'autres sites. Au moment où j'écris, il y a 41 sites différents qui sont supportés.
Regardons comment installer et utiliser la bibliothèque.
The repository is located at https://github.com/hhursev/recipe-scrapers. The main page provides a list of supported recipe sites as well as a short example of how to use the library. As always, you have to install the library before you can use it. You can use pip to do that… $ pip install recipe-scrapers You can also clone or download the repository and, once you have it on your machine, go to the main folder (recipe-scrapers) and use pip to install it directly from the source… $ pip install -e .
Le dépôt est situé à https://github.com/hhursev/recipe-scrapers. La page principale fournit une liste des sites de recettes supportés ainsi qu'un court exemple sur la façon d'utiliser la bibliothèque. Comme toujours, vous devez installer la bibliothèque avant de pouvoir l'utiliser. Vous pouvez utiliser pip pour le faire :
$ pip install recipe-scrapers
Vous pouvez aussi cloner ou télécharger le dépôt et, une fois qu'il est sur votre machine, aller dans le dossier principal (recipe-scrapers) et utiliser pip pour l'installer directement depuis la source :
$ pip install -e
This is a good way to install it if you are interested in how the program works and if you want to write your own scrapers. Now, open your favorite IDE or editor and create a new file. Let's call it “scrapertest.py”. Of course, the first thing we need to do is to import the library… from recipe_scrapers import scrape_me Next, you will need a recipe page that you want to scrape. You need to find one that is a single recipe, not a category page. For this tutorial, we will use a page from Allrecipes.com that provides the recipe for Asian Orange Chicken https://www.allrecipes.com/recipe/61024/asian-orange-chicken/ . Below left is a quick glance of what that page looks like.
C'est une bonne façon de l'installer si vous voulez savoir comment le programme fonctionne et si vous voulez écrire vos propres extracteurs.
Maintenant, ouvrez votre environnement de développement (IDE) ou votre éditeur préféré et créez un nouveau fichier. Appelons-le « scrapertest.py ».
Bien sûr, la première chose que vous devez faire est d'importer la bibliothèque :
from recipe_scrapers import scrape_me
Ensuite, vous aurez besoin d'une page de recette que vous voudrez extraire. Vous devrez en trouver une qui soit simple, pas une page de catégories. Pour ce tutoriel, nous utiliserons une page de Allrecipes.com qui fournit la recette asiatique du Canard à l'orange https://www.allrecipes.com/recipe/61024/asian-orange-chicken/. Ci-dessous à gauche, voici un aperçu rapide de ce à quoi ressemble cette page.
The next thing that we should do is create a variable to hold the URL of the site page… site = 'https://www.allrecipes.com/recipe/61024/asian-orange-chicken/' Now we create an instance of the scraper and provide it with the URL. scraper = scrape_me(site) Once we have that done, we can start grabbing some of the information that the scraper comes back with. Each bit of information is handled by a separate method. Note: Some scrapers may provide more or less information depending on the site and if the author of the scraper included it.
Ensuite, il faut créer une variable qui contient l'URL de la page du site :
site = 'https://www.allrecipes.com/recipe/61024/asian-orange-chicken/'
Maintenant, nous créons une instance de l'extracteur et lui fournissons l'URL :
scraper = scrape_me(site)
Une fois fait, nous pouvons commencer à fouiller dans les informations que l'extracteur ramène. Chaque élément d'information est géré par une méthode séparée.
Note : certains extracteurs fournissent plus ou moins d'informations suivant le site et si l'auteur de l'extracteur l'a inclus.
From the above code, we will be able to get the recipe title, the total amount of time that the recipe will take to prepare, the number of servings it will make (yields), a list of the ingredients, the instructions, and a URL of the image, if one is available. In this case, we have set the data for each into a variable. Now (bottom right), let's print the data in the terminal. When we run the program, the output looks like that shown on the next page, top.
À partir du code ci-dessus, nous serons capable d'obtenir le titre de la recette, le temps total de mise en œuvre de la recette, le nombre de couverts obtenus (rendements), une liste des ingrédients, les instructions et une URL de l'image, s'il y en a une de disponible. Dans ce cas, nous devons mettre les données de chaque partie de la recette dans une variable. Maintenant (en bas à droite), imprimons les données dans un terminal.
Quand nous lançons le programme, la sortie ressemble à celle montrée sur la page suivante, en haut.
It’s obvious that the ingredients come back as a Python list, so let's change the program a little bit to make the data a bit more readable. Comment out the line that prints the ingredients as a “glob” and replace it with… # print(f'Ingredients: {ingredients}') print('Ingredients:\n') for ing in ingredients: print(f' {ing}') With this small change, our output now looks like that shown far right.
Il est évident que les ingrédients ressortent comme une liste Python ; aussi, changeons un peu le programme pour améliorer la lisibilité des données. Commentez la ligne qui imprime la liste comme une « globale » et remplacez-la par :
# print(f'Ingredients: {ingredients}')
print('Ingredients:\n')
for ing in ingredients:
print(f' {ing}')
Avec cette petite modification, notre sortie ressemble à ce qui est montré tout à fait à droite.
Now, let’s make the program a bit more usable by allowing the user to enter the URL at runtime, rather than hard coding it. Comment out the line that assigns the URL (site = ‘’) and replace it with…
site = input('Please enter the website URL to scrape (blank line to quit) →')
if site != :
# site = 'https://www.allrecipes.com/recipe/61024/asian-orange-chicken/'
scraper = scrape_me(site)
Be sure to indent the rest of the code so that it all falls under the if statement.
Maintenant, améliorons un peu le programme pour permettre à un utilisateur d'entrer l'URL pendant le fonctionnement, plutôt que de le coder en dur. Commentez la ligne qui assigne l'URL (site =) et remplacez-la par :
site = input ('Merci de saisir l'URL du site Web à extraire (une ligne vierge pour quitter) →')
if site != :
# site = 'https://www.allrecipes.com/recipe/61024/asian-orange-chicken/'
scraper = scrape_me(site)
Assurez-vous d'indenter le reste du code de sorte qu'il soit complètement dans la déclaration if.
For this run, we’ll use a different known good recipe page, again from Allrecipes. https://www.allrecipes.com/recipe/8849/baked-chicken-nuggets/ …
Now when you run the program with the new URL, your output looks like this:
With a bit more cleanup of the output portion of the code, it will be pretty nice. However, what happens when you enter a website that is not one of the sites that is supported by the library? Let’s look by trying a site that I know is not supported (below) https://www.jennycancook.com/recipes/custard-filled-paczki/
Pour ce test, nous utiliserons une autre page de recettes bien connue, à nouveau sur Allrecipes.
https://www.allrecipes.com/recipe/8849/baked-chicken-nuggets/ …
Maintenant, quand vous lancez le programme avec la nouvelle URL, votre sortie ressemble à ceci :
Avec un peu plus d'ajustement de la partie de code pour la sortie, elle sera plutôt chouette. Cependant, qu'arrive-t-il si vous entrez un site Web qui n'est pas dans les sites Web supportés par la bibliothèque ? Regardons en essayant un site que je sais ne pas être supporté (ci-dessous) https://www.jennycancook.com/recipes/custard-filled-paczki/
This error is easy to avoid. All of the sites that are supported are stored in a dictionary named SCRAPERS. What we will want to do is grab the domain from the URL and see if it is in the SCRAPERS dictionary. We can do that by importing the urlparse library…
from urllib.parse import urlparse
Be sure to place this at the top of the file, just under the other import statement. The existing code will be shown here as ‘not bold’ and the new code as ‘bold’ (top right).
Again, be sure to match the indentation level of the rest of the code. Finally, at the very end of the code, add the following two lines (below).
Cette erreur est facile à éviter. Tous les sites qui sont supportés sont stockés dans un dictionnaire nommé SCRAPERS. Ce que nous ferons, c'est de récupérer le domaine dans l'URL et de voir s'il est dans le dictionnaire SCRAPERS. Nous pouvons le faire en important la bibliothèque urlparse :
from urllib.parse import urlparse
Assurez-vous de la placer tout en haut du fichier, juste sous l'autre déclaration d'import. Le code existant sera affiché ici en « not bold » (non gras) et le nouveau comme en « bold » (gras).
À nouveau, vérifiez la bonne correspondance du niveau d'indentation avec le reste du code. Enfin, tout à la fin du code, ajoutez les deux lignes suivantes (ci-dessous).
Now when you run the program, using the unsupported URL, you’ll see the following…
Please enter the website URL to scrape (blank line to quit) →https://www.jennycancook.com/recipes/custard-filled-paczki/
Sorry, that website is not currently supported.
That’s it.This base code can be easily worked into a GUI form as well. Here’s a shot of what my GUI scraper form looks like.
Maintenant, quand vous lancerez le programme en utilisant une URL non supportée, vous verrez ce qui suit :
Merci de saisir le site Web à extraire (laissez vierge pour quitter) →https://www.jennycancook.com/recipes/custard-filled-paczki/
Désolé, ce site Web n'est pas supporté actuellement.
Voilà. Cette base de code peut facilement être mise dans une interface graphique. Voici une vue de ce à quoi ressemble mon extracteur en mode graphique.
As I usually do, I’ve put the code up on Pastebin at https://pastebin.com/t0t8a0fm
Until next time,
Keep coding!**
Comme je le fais habutuellement, j'ai mis le code sur Pastebin à https://pastebin.com/t0t8a0fm
Jusqu'à la prochaine fois,
Continuez à coder !