Home Explore Help
Sign In
drymer
/
gnusrss
mirror of http://daemons.cf/cgit/gnusrss
Watch 3
Star 2
Fork 0
Files Issues 0 Wiki
Branch: dev
Branches Tags
gnusrss
/
README.org

README.org 16 KB
Permalink History Raw

gnusrss

English

About

Features

Requirements

    gnusrss parse feeds and post them to GNU Social. The idea of ​​this program came from [[https://github.com/nathans/spigot][spigot]], a program that posts feeds to the social network [[https://pump.io][pump.io]] as does gnusrss but better, because it controls the possible flood. gnusrss does not have this option and it will be managed with the crontab (for now).
  • Multiple feed and GNU Social accounts support
  • sqlite3 is used to store the feeds
  • Can fetch RSS files or url indistinctly
  • Twitter image upload support when used with twitter2rss
    • Need a version equal to or greater than python 3 and some libraries:
  • feedparser >= 5.0
  • requests >= 2.11.1

Git repository

Install

    It's in two places:
  • http://daemons.cf/cgit/gnusrss: the original repository
  • https://notabug.org/drymer/gnusrss/: A mirror in which it can be put issues and feature requests
    • As with any program that uses python, it should be used a virtual environment (virtualenv), but that is user selectable. It's possible to use one of the next installation methods:

Install via pip: #+BEGIN_SRC sh $ su -c "pip3 install gnusrss" #+END_SRC

Clone the repository: #+BEGIN_SRC sh $ git clone git://daemons.cf/gnusrss # OR ... $ git clone https://notabug.org/drymer/gnusrss/ $ cd gnusrss $ su -c "pip3 install -r requirements.txt" $ su -c "python3 setup.py install" #+END_SRC

If on parabola: #+BEGIN_SRC sh $ su -c "pacman -S gnusrss" #+END_SRC

Configuration

The program is (or should be) quite intuitive. Running the following, should show the basics:

#+BEGIN_SRC sh $ gnusrss.py usage: gnusrss [-h] [-c file_name] [-C] [-p config_file] [-P] [-k file_name]

Post feeds to GNU Social

optional arguments: -h, --help show this help message and exit -c file_name, --create-config file_name creates a config file -C, --create-db creates the database -p config_file, --post config_file posts feeds -P, --post-all posts all feeds -k file_name, --populate-database file_name fetch the RSS and save it in the database #+END_SRC

In any case, if not clear, read the following.

For the first use, it must be created the database and the first configuration file. This can done using the same command, like this:

#+BEGIN_SRC sh $ gnusrss.py --create-db --create-config daemons #+END_SRC

Then it will ask several questions to create the first configuration file. It should look like this:

#+BEGIN_SRC text Database created! Hi! Now we'll create config file! Please enter the feed's URL: https://daemons.cf/rss.xml Please enter your username (user@server.com): drymer@quitter.se Please enter your password: falsePassword Do you need to shorten the URLs that you 'post? Please take in account That You should only use it if your node only have 140 characters. Answer with "yes" or just press enter if you do not want to use it: Please enter your feed's fallbackurl. If you do not want or have one, just press enter: Now we're gona fetch the feed. Please wait ... Done! The tags are: tags title_detail link authors links author_detail published_parsed title summary id author published guidislink summary_detail The XML has-been parsed. Choose wich format you want: Please put the tags inside the square brackets Ex: {title} - {link} by @{author}: {title} - {link} by @{author} Do you want to allow insecure connection to your GNU social server? Answer with "yes" or just press enter if you don't want to use it: Do you want to populate the database? (y) Or you prefer to post old items? (n) #+END_SRC

The file is saved under the name 'daemons.ini'. It should look like this:

#+BEGIN_SRC text [Feeds] feed = https://daemons.cf/rss.xml user = drymer@quitter.se password = falsePassword shorten fallback_feed = format {title} - {link} by @ {author} #+END_SRC

It can create all the configuration files you want. When creating the above file, it put into the database all the feeds that had so far. Thus, when running gnusrss for the first time, it will not post nothing to GNU Social until the feed has new information. To post feeds from a concrete config file or all execute, respectively, the following:

#+BEGIN_SRC sh $ gnusrss.py -p daemons.ini $ gnusrss.py -P #+END_SRC

If the config file is created manually and the user don't want to post all the feed's content, just use the --populate-database option to save them to the database:

#+BEGIN_SRC sh $ gnusrss.py -k otherFile.ini #+END_SRC

Crontab

The recommended way to execute gnurss is using the crontab. Each time it's run, a single item of the feed will be posted to prevent flood. Depending on the number of feeds that are published, you should choose a different runtime. For a blog that publishs once a day, it could be used the following:

#+BEGIN_SRC sh $ crontab -e # A file is open and gets the following * 12 * * * cd $rutaDEgnusrss && gnusrss.py -p daemons.ini #+END_SRC

Use with twitter2rss and/or GNU Social

So it runs once, every day at midday. If, however, it's used with twitter2rss, it could be recommended putting it to run every five minutes. It has to be remembered that is important to run in the directory where the database was created, because is where it will search it.. It works like any feed, except for the field that is published. In both you have to choose {summary}. An example configuration file is as follows:

#+BEGIN_SRC text [feeds] feed = https://quitter.se/api/statuses/user_timeline/127168.atom user = drymer@quitter.se password = falsePassword shorten fallback_feed = format {summary} #+END_SRC

The feed can be achieved by looking at the source code of the page of the account you want. For twitter2rss, you can host it or can use this web.

License

#+BEGIN_SRC text This program is free software: you can redistribute it and / or modify it under the terms of the GNU General Public License as published by the Free Software Foundation, Either version 3 of the License, or (At your option) any later version.

This program is distributed in the hope That it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.

Castellano

Acerca de

Features

Requisitos

    You should have received a copy of the GNU General Public License Along With This Program. If not, see . #+END_SRC gnusrss parsea feeds y los postea en GNU Social. La idea de hacer este programa surgió de [[https://github.com/nathans/spigot][spigot]], un programa que postea feeds en la red social [[https://pump.io][pump.io]] igual que hace gnusrss pero mejor, ya que controla el posible flood. gnusrss no tiene esta opción y se controlará con el propio crontab (de momento).
  • Soporta múltiples feeds y cuentas de GNU Social
  • sqlite3 es usado para guardar los feeds
  • Se puede usar tanto archivos RSS cómo url indistintamente
  • Soporta la súbida de imágenes de Twitter cuando es usado en conjunto con twitter2rss
    • Necesita una versión de python igual o superior a la 3 y algunas librerias:
  • feedparser >= 5.0
  • requests >= 2.11.1

Repositorio git

Instalación

    Está en dos sitios:
  • http://daemons.cf/cgit/gnusrss: el repositorio original
  • https://notabug.org/drymer/gnusrss/: un mirror, en el que se pueden poner los problemas y sugerencias de mejoras
    • Cómo con cualquier programa con python, es recomendable usar un entorno virtual (virtualenv), pero eso queda a elección del usuario. Se puede escoger entre los siguientes metodos:

Instalar usando pip: #+BEGIN_SRC sh $ su -c "pip3 install gnusrss" #+END_SRC

Clonar el repositorio: #+BEGIN_SRC sh $ git clone git://daemons.cf/gnusrss # O ... $ git clone https://notabug.org/drymer/gnusrss/ $ cd gnusrss $ su -c "pip3 install -r requirements.txt" $ su -c "python3 setup.py install" #+END_SRC

Si se usa parabola: #+BEGIN_SRC sh $ su -c "pacman -S gnusrss" #+END_SRC

Configuración

El programa es (o debería ser) bastante intuitivo. Ejecutando lo siguiente, deberia verse lo básico:

#+BEGIN_SRC sh $ gnusrss.py usage: gnusrss [-h] [-c file_name] [-C] [-p config_file] [-P] [-k file_name]

Post feeds to GNU Social

optional arguments: -h, --help show this help message and exit -c file_name, --create-config file_name creates a config file -C, --create-db creates the database -p config_file, --post config_file posts feeds -P, --post-all posts all feeds -k file_name, --populate-database file_name fetch the RSS and save it in the database #+END_SRC

En cualquier caso, si no queda claro, leer lo siguiente.

Para el primer uso, la base de datos y el primer archivo de configuración deben ser creados. Podemos hacerlo usando la misma orden, tal que así:

#+BEGIN_SRC sh $ gnusrss.py --create-db --create-config daemons #+END_SRC

A continuación hará varias preguntas para configurar el primer archivo de configuración. Debería verse así:

#+BEGIN_SRC text Database created! Hi! Now we'll create de config file! Please introduce the feed's url: https://daemons.cf/rss.xml Please introduce your username (user@server.com): drymer@quitter.se Please introduce your password: contraseñaFalsa {1}Do you need to shorten the urls that you post? Please take in account that you should only use it if your node only has 140 characters. Answer with "yes" or just press enter if you don't want to use it: {2}Please introduce your feed's fallbackurl. If you don't want or have one, just press enter: Now we're gona fetch the feed. Please wait... Done! The tags are: tags title_detail link authors links author_detail published_parsed title summary id author published guidislink summary_detail The XML has been parsed. Choose wich format you want: {3}Please put the tags inside the square brackets Ex: {title} - {link} by @{author}: {title} - {link} by @{author} {4}Do you want to allow insecure connection to your GNU social server? Answer with "yes" or just press enter if you don't want to use it: {5}Do you want to populate the database? (y) Or you prefer to post old items? (n) #+END_SRC

A continuación traduciré las lineas con los números entre corchetes. {1} Necesitas acortar las url que quieres postear? Por favor ten en cuenta que sólo deberia usarse si el servidor sólo tiene 140 carácteres. {2} Por favor introduce tu feed de emergencia. Si no tienes uno, solamente aprieta enter. {3} Por favor pon las etiquetas dentro de los corchetes. {4} Quieres permitir conexiones inseguras a tu servidor GNU social? Responde con "si" o simplemente apreta enter si no necesitas usarlo. {5} Quieres llenar la base de datos? (y) O prefieres publicar los artículos antiguos? (n)

Respecto al 3, hay que examinar el código fuente del RSS para saber cuales interesan. En general, el que hay de ejemplo será lo que se busque. En el caso 4, sólo es útil si el servidor usa un certificado auto-firmado.

El archivo se guardará con el nombre 'daemons.ini'. Después de todas estas preguntas, debería verse similar a esto:

#+BEGIN_SRC text [feeds] feed = https://daemons.cf/rss.xml user = drymer@quitter.se password = contraseñaFalsa shorten fallback_feed = format {title} - {link} by @{author} insecure = #+END_SRC

Se pueden crear todos los archivos de configuración que se quieran. Al haber creado el archivo anterior, se han metido en la base de datos todos los feeds que habian hasta el momento. Por lo tanto, cuando se ejecuta gnusrss por primera vez, no posteará nada en GNU Social, a menos que el feed tenga nueva información. Para postear los feeds de un archivo o todos, ejecutar, respectivamente, lo siguiente:

#+BEGIN_SRC sh $ gnusrss.py -p daemons.ini $ gnusrss.py -P #+END_SRC

Si el archivo de configuración ha sido creado manualmente y no se quiere postear el contenido del feed, sólo hay que ejecutar la opción --populate-database para guardar estos en la base de datos:

#+BEGIN_SRC sh $ gnusrss.py -k otherFile.ini #+END_SRC

Crontab

El modo recomendado de ejecución de gnusrss es usando el crontab. Cada vez que se ejecute posteará un sólo elemento del feed para evitar el flood. Según la cantidad de feeds que se publiquen, se deberia escoger un tiempo de ejecución distinto. Para un blog que publique una vez al día, con poner lo siguiente, deberia valer:

#+BEGIN_SRC sh $ crontab -e # Se abrirá un archivo y se mete lo siguiente * 12 * * * cd $rutaDEgnusrss && gnusrss.py -p daemons.cf #+END_SRC

Uso con twitter2rss y/o GNU Social

Así se ejecuta una vez al día, a las doce de la mañana. Si, en cambio, lo usasemos con twitter2rss, se recomienda poner que se ejecute cada cinco minutos. Hay que recordar que es importante que se ejecute en el directorio en el que se ha creado la base de datos, ya que es ahí dónde la buscará. Funciona igual que con cualquier feed, exceptuando el campo que se publica. En ambos hay que escoger {summary}. Un ejemplo de archivo de configuración sería el siguiente:

#+BEGIN_SRC text [feeds] feed = https://quitter.se/api/statuses/user_timeline/127168.atom user = drymer@quitter.se password = contraseñaFalsa shorten fallback_feed = format {summary} #+END_SRC

Bugs

El feed se puede conseguir mirando el código fuente de la página de la cuenta que se quiere. En el caso de twitter2rss, se puede hostear o se puede usar esta web. No es recomendable usarlo con ningún nodo que use 140 carácteres, ya que en los retweets se añade un símbolo, "♻", lo cual hará que un tweet de 140 carácteres no sea posteado.

Licencia

#+BEGIN_SRC text This program is free software: you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version.

This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.

You should have received a copy of the GNU General Public License along with this program. If not, see . #+END_SRC