Anjuta token

Anjuta token — Anjuta token

Stability Level

Unstable, unless otherwise indicated

Synopsis

#include <libanjuta/anjuta-token.h>

                    AnjutaToken;
void                (*AnjutaTokenForeachFunc)           (AnjutaToken *token,
                                                         gpointer data);
enum                AnjutaTokenType;
AnjutaToken *       anjuta_token_append_child           (AnjutaToken *parent,
                                                         AnjutaToken *children);
gboolean            anjuta_token_check                  (AnjutaToken *token);
void                anjuta_token_clear_flags            (AnjutaToken *token,
                                                         gint flags);
gboolean            anjuta_token_compare                (AnjutaToken *tokena,
                                                         AnjutaToken *tokenb);
AnjutaToken *       anjuta_token_concat                 (AnjutaToken *token);
AnjutaToken *       anjuta_token_cut                    (AnjutaToken *token,
                                                         guint pos,
                                                         guint size);
AnjutaToken *       anjuta_token_delete_parent          (AnjutaToken *parent);
void                anjuta_token_dump                   (AnjutaToken *token);
void                anjuta_token_dump_link              (AnjutaToken *token);
gchar *             anjuta_token_evaluate               (AnjutaToken *token);
gchar *             anjuta_token_evaluate_name          (AnjutaToken *token);
AnjutaToken *       anjuta_token_first_item             (AnjutaToken *list);
void                anjuta_token_foreach_content        (AnjutaToken *token,
                                                         AnjutaTokenForeachFunc func,
                                                         gpointer user_data);
AnjutaToken *       anjuta_token_foreach_post_order     (AnjutaToken *token,
                                                         AnjutaTokenForeachFunc func,
                                                         gpointer user_data);
void                anjuta_token_foreach_token          (AnjutaToken *token,
                                                         AnjutaTokenForeachFunc func,
                                                         gpointer user_data);
AnjutaToken *       anjuta_token_free                   (AnjutaToken *token);
AnjutaToken *       anjuta_token_free_children          (AnjutaToken *token);
gint                anjuta_token_get_flags              (AnjutaToken *token);
gsize               anjuta_token_get_length             (AnjutaToken *token);
const gchar *       anjuta_token_get_string             (AnjutaToken *token);
AnjutaToken *       anjuta_token_insert_after           (AnjutaToken *sibling,
                                                         AnjutaToken *list);
AnjutaToken *       anjuta_token_insert_before          (AnjutaToken *sibling,
                                                         AnjutaToken *list);
gboolean            anjuta_token_is_empty               (AnjutaToken *token);
AnjutaToken *       anjuta_token_last                   (AnjutaToken *token);
AnjutaToken *       anjuta_token_last_item              (AnjutaToken *list);
AnjutaToken *       anjuta_token_list                   (AnjutaToken *token);
AnjutaToken *       anjuta_token_merge                  (AnjutaToken *first,
                                                         AnjutaToken *end);
AnjutaToken *       anjuta_token_merge_children         (AnjutaToken *first,
                                                         AnjutaToken *end);
AnjutaToken *       anjuta_token_merge_own_children     (AnjutaToken *first);
AnjutaToken *       anjuta_token_merge_previous         (AnjutaToken *list,
                                                         AnjutaToken *first);
AnjutaToken *       anjuta_token_new_static             (AnjutaTokenType type,
                                                         const gchar *value);
AnjutaToken *       anjuta_token_new_static_len         (gint type,
                                                         const gchar *pos,
                                                         gsize length);
AnjutaToken *       anjuta_token_new_string             (AnjutaTokenType type,
                                                         const gchar *value);
AnjutaToken *       anjuta_token_new_string_len         (AnjutaTokenType type,
                                                         gchar *value,
                                                         gsize length);
AnjutaToken *       anjuta_token_next                   (AnjutaToken *token);
AnjutaToken *       anjuta_token_next_after_children    (AnjutaToken *token);
AnjutaToken *       anjuta_token_next_item              (AnjutaToken *item);
AnjutaToken *       anjuta_token_parent                 (AnjutaToken *token);
AnjutaToken *       anjuta_token_prepend_child          (AnjutaToken *parent,
                                                         AnjutaToken *children);
AnjutaToken *       anjuta_token_prepend_items          (AnjutaToken *list,
                                                         AnjutaToken *item);
AnjutaToken *       anjuta_token_previous               (AnjutaToken *token);
AnjutaToken *       anjuta_token_previous_item          (AnjutaToken *item);
void                anjuta_token_remove_item            (AnjutaToken *item);
void                anjuta_token_set_flags              (AnjutaToken *token,
                                                         gint flags);
void                anjuta_token_set_length             (AnjutaToken *token,
                                                         gsize length);
void                anjuta_token_set_string             (AnjutaToken *token,
                                                         const char *value,
                                                         gsize length);
void                anjuta_token_set_type               (AnjutaToken *token,
                                                         gint type);
AnjutaToken *       anjuta_token_split                  (AnjutaToken *token,
                                                         guint size);

Description

A AnjutaToken represents a token. It is a sequence of characters associated with a type representing its meaning. By example, a token can represent a keyword, a comment, a variable...

The token can own the string or has only a pointer on some data allocated somewhere else with a length.

A token is linked with other tokens using three double linked lists.

The first list using next and prev fields is used to keep the token in the order where there are in the file. The first character of the first token is the first character in the file.

A second list is used to represent included files. Such file is represented by a special token in the first list which has a pointer, named children to a token list. Each token in this secondary list has a pointer to its parent, it means the token representing the file where is the token. It looks like a tree. In fact, every file is represented by a special token, so the root node is normally a file token and has as children all the token representing the file content. This parent/child list is used for expanded variable too.

A third list is used to group several tokens. A token can have a pointer to another last token. It means that this token is a group starting from this token to the one indicated by the last field. In addition each token in this group has a pointer on the first token of the group. This grouping is independent of the parent/child list. So a group can start in one file and end in another included file. The grouping can be nested too. Typically we can have a group representing a command, a sub group representing the arguments and then one sub group for each argument.

Details

AnjutaToken

typedef struct _AnjutaToken AnjutaToken;


AnjutaTokenForeachFunc ()

void                (*AnjutaTokenForeachFunc)           (AnjutaToken *token,
                                                         gpointer data);


enum AnjutaTokenType

typedef enum {
	ANJUTA_TOKEN_NONE 							= 0,
	ANJUTA_TOKEN_EOL								= '\n',
	ANJUTA_TOKEN_COMMA								= 0x2C,		/* glib-genmarshal doesn't like ',' */
	
	ANJUTA_TOKEN_TYPE 							= 0xFFFF,

	ANJUTA_TOKEN_FIRST								= 16384,	
	ANJUTA_TOKEN_FILE,
	ANJUTA_TOKEN_MACRO,
	ANJUTA_TOKEN_CONTENT,
	ANJUTA_TOKEN_ARGUMENT,
	ANJUTA_TOKEN_VALUE,
	ANJUTA_TOKEN_EOV, /* 16390 */
	ANJUTA_TOKEN_PARSED,
	ANJUTA_TOKEN_KEYWORD,
	ANJUTA_TOKEN_OPERATOR,
	ANJUTA_TOKEN_NAME,
	ANJUTA_TOKEN_VARIABLE,
	ANJUTA_TOKEN_DEFINITION,
	ANJUTA_TOKEN_STATEMENT,
	ANJUTA_TOKEN_NUMBER,
	ANJUTA_TOKEN_JUNK,
	ANJUTA_TOKEN_COMMENT, /* 16400 */
	ANJUTA_TOKEN_OPEN_QUOTE,
	ANJUTA_TOKEN_CLOSE_QUOTE,
	ANJUTA_TOKEN_ESCAPE,
	ANJUTA_TOKEN_FUNCTION,
	ANJUTA_TOKEN_SPACE,
	ANJUTA_TOKEN_START,
	ANJUTA_TOKEN_NEXT,
	ANJUTA_TOKEN_LAST,
	ANJUTA_TOKEN_ITEM,
	ANJUTA_TOKEN_STRING, /* 16410 */
	ANJUTA_TOKEN_ERROR,
	ANJUTA_TOKEN_WORD,
	ANJUTA_TOKEN_LIST,
	ANJUTA_TOKEN_ANY,
	ANJUTA_TOKEN_USER,
		
	ANJUTA_TOKEN_FLAGS 							= 0xFFFF << 16,
	
	ANJUTA_TOKEN_PUBLIC_FLAGS 				= 0x00FF << 16,
	
	ANJUTA_TOKEN_IRRELEVANT 					= 1 << 16,
	ANJUTA_TOKEN_OPEN 							= 1 << 17,
	ANJUTA_TOKEN_CLOSE 							= 1 << 18,
	ANJUTA_TOKEN_SIGNIFICANT					= 1 << 20,

	ANJUTA_TOKEN_PRIVATE_FLAGS 			= 0x00FF << 24,
	
	ANJUTA_TOKEN_CASE_INSENSITIVE 		= 1 << 24,
	ANJUTA_TOKEN_STATIC 							= 1 << 25,
	ANJUTA_TOKEN_REMOVED						= 1 << 26,
	ANJUTA_TOKEN_ADDED							= 1 << 27
} AnjutaTokenType;


anjuta_token_append_child ()

AnjutaToken *       anjuta_token_append_child           (AnjutaToken *parent,
                                                         AnjutaToken *children);

Insert all tokens in children as the last children of the given parent.

parent :

a AnjutaToken object used as parent.

children :

a AnjutaToken object.

Returns :

The first token append.

anjuta_token_check ()

gboolean            anjuta_token_check                  (AnjutaToken *token);


anjuta_token_clear_flags ()

void                anjuta_token_clear_flags            (AnjutaToken *token,
                                                         gint flags);


anjuta_token_compare ()

gboolean            anjuta_token_compare                (AnjutaToken *tokena,
                                                         AnjutaToken *tokenb);


anjuta_token_concat ()

AnjutaToken *       anjuta_token_concat                 (AnjutaToken *token);


anjuta_token_cut ()

AnjutaToken *       anjuta_token_cut                    (AnjutaToken *token,
                                                         guint pos,
                                                         guint size);


anjuta_token_delete_parent ()

AnjutaToken *       anjuta_token_delete_parent          (AnjutaToken *parent);

Delete only the parent token.

parent :

a AnjutaToken object used as parent.

Returns :

the first children

anjuta_token_dump ()

void                anjuta_token_dump                   (AnjutaToken *token);


anjuta_token_dump_link ()

void                anjuta_token_dump_link              (AnjutaToken *token);


anjuta_token_evaluate ()

gchar *             anjuta_token_evaluate               (AnjutaToken *token);


anjuta_token_evaluate_name ()

gchar *             anjuta_token_evaluate_name          (AnjutaToken *token);


anjuta_token_first_item ()

AnjutaToken *       anjuta_token_first_item             (AnjutaToken *list);


anjuta_token_foreach_content ()

void                anjuta_token_foreach_content        (AnjutaToken *token,
                                                         AnjutaTokenForeachFunc func,
                                                         gpointer user_data);


anjuta_token_foreach_post_order ()

AnjutaToken *       anjuta_token_foreach_post_order     (AnjutaToken *token,
                                                         AnjutaTokenForeachFunc func,
                                                         gpointer user_data);


anjuta_token_foreach_token ()

void                anjuta_token_foreach_token          (AnjutaToken *token,
                                                         AnjutaTokenForeachFunc func,
                                                         gpointer user_data);


anjuta_token_free ()

AnjutaToken *       anjuta_token_free                   (AnjutaToken *token);


anjuta_token_free_children ()

AnjutaToken *       anjuta_token_free_children          (AnjutaToken *token);


anjuta_token_get_flags ()

gint                anjuta_token_get_flags              (AnjutaToken *token);


anjuta_token_get_length ()

gsize               anjuta_token_get_length             (AnjutaToken *token);


anjuta_token_get_string ()

const gchar *       anjuta_token_get_string             (AnjutaToken *token);


anjuta_token_insert_after ()

AnjutaToken *       anjuta_token_insert_after           (AnjutaToken *sibling,
                                                         AnjutaToken *list);

Insert all tokens after sibling.

sibling :

a AnjutaToken object.

list :

a AnjutaToken object.

Returns :

The first token inserted.

anjuta_token_insert_before ()

AnjutaToken *       anjuta_token_insert_before          (AnjutaToken *sibling,
                                                         AnjutaToken *list);

Insert all tokens before sibling.

sibling :

a AnjutaToken object.

list :

a AnjutaToken object.

Returns :

The first token inserted.

anjuta_token_is_empty ()

gboolean            anjuta_token_is_empty               (AnjutaToken *token);


anjuta_token_last ()

AnjutaToken *       anjuta_token_last                   (AnjutaToken *token);


anjuta_token_last_item ()

AnjutaToken *       anjuta_token_last_item              (AnjutaToken *list);


anjuta_token_list ()

AnjutaToken *       anjuta_token_list                   (AnjutaToken *token);


anjuta_token_merge ()

AnjutaToken *       anjuta_token_merge                  (AnjutaToken *first,
                                                         AnjutaToken *end);


anjuta_token_merge_children ()

AnjutaToken *       anjuta_token_merge_children         (AnjutaToken *first,
                                                         AnjutaToken *end);


anjuta_token_merge_own_children ()

AnjutaToken *       anjuta_token_merge_own_children     (AnjutaToken *first);


anjuta_token_merge_previous ()

AnjutaToken *       anjuta_token_merge_previous         (AnjutaToken *list,
                                                         AnjutaToken *first);

If the list token is not already linked with first, it is inserted just before first. If the list token is already linked, it must be in the same list after first token. It it possible to have several tokens beweent list and first.

list :

a AnjutaToken object representing a list

first :

a AnjutaToken object for the new beginning of the list

Returns :

the new list

anjuta_token_new_static ()

AnjutaToken *       anjuta_token_new_static             (AnjutaTokenType type,
                                                         const gchar *value);


anjuta_token_new_static_len ()

AnjutaToken *       anjuta_token_new_static_len         (gint type,
                                                         const gchar *pos,
                                                         gsize length);


anjuta_token_new_string ()

AnjutaToken *       anjuta_token_new_string             (AnjutaTokenType type,
                                                         const gchar *value);


anjuta_token_new_string_len ()

AnjutaToken *       anjuta_token_new_string_len         (AnjutaTokenType type,
                                                         gchar *value,
                                                         gsize length);


anjuta_token_next ()

AnjutaToken *       anjuta_token_next                   (AnjutaToken *token);


anjuta_token_next_after_children ()

AnjutaToken *       anjuta_token_next_after_children    (AnjutaToken *token);


anjuta_token_next_item ()

AnjutaToken *       anjuta_token_next_item              (AnjutaToken *item);


anjuta_token_parent ()

AnjutaToken *       anjuta_token_parent                 (AnjutaToken *token);


anjuta_token_prepend_child ()

AnjutaToken *       anjuta_token_prepend_child          (AnjutaToken *parent,
                                                         AnjutaToken *children);

Insert all tokens in children as the first children of the given parent.

parent :

a AnjutaToken object used as parent.

children :

a AnjutaToken object.

Returns :

The first token append.

anjuta_token_prepend_items ()

AnjutaToken *       anjuta_token_prepend_items          (AnjutaToken *list,
                                                         AnjutaToken *item);

Insert all tokens in item as item of the given list.

list :

a AnjutaToken object used as list.

item :

a AnjutaToken object.

Returns :

The first token append.

anjuta_token_previous ()

AnjutaToken *       anjuta_token_previous               (AnjutaToken *token);


anjuta_token_previous_item ()

AnjutaToken *       anjuta_token_previous_item          (AnjutaToken *item);


anjuta_token_remove_item ()

void                anjuta_token_remove_item            (AnjutaToken *item);


anjuta_token_set_flags ()

void                anjuta_token_set_flags              (AnjutaToken *token,
                                                         gint flags);


anjuta_token_set_length ()

void                anjuta_token_set_length             (AnjutaToken *token,
                                                         gsize length);


anjuta_token_set_string ()

void                anjuta_token_set_string             (AnjutaToken *token,
                                                         const char *value,
                                                         gsize length);


anjuta_token_set_type ()

void                anjuta_token_set_type               (AnjutaToken *token,
                                                         gint type);


anjuta_token_split ()

AnjutaToken *       anjuta_token_split                  (AnjutaToken *token,
                                                         guint size);